Open-LLM-VTuber:5分钟快速搭出AI虚拟主播
【免费下载链接】Open-LLM-VTuberTalk to any LLM with hands-free voice interaction, voice interruption, and Live2D avatar running locally across platforms项目地址: https://gitcode.com/GitHub_Trending/op/Open-LLM-VTuber
当你打字打够了,想直接张嘴跟 AI 说话,还要屏幕里的角色边听边回你、甚至瞟一眼你的桌面时,Open-LLM-VTuber 就是干这个的。它是一个跑在本地的 AI 虚拟主播:把会动的 Live2D 形象和大语言模型(简称 LLM,负责"想"的那部分)接起来,支持实时语音对话和打断,能完全离线运行,Windows、macOS、Linux 都能装。
🧭 它是什么:会说话、能离线跑的本地AI虚拟主播
一句话:给它接一个大模型,它就是一个会动、会听、会开口,还能"看见"你屏幕的 AI 角色。适合想给自己、给宠物角色配个能聊天形象的人。
| 它提供什么 | 你能得到什么 |
|---|---|
| 实时语音对话 | 不用打字,张嘴即聊 |
| Live2D 动态形象 | 角色会动、会随情绪换表情 |
| 完全离线运行 | 对话留在本地,隐私可控 |
| 跨三大平台 | Windows / macOS / Linux 都能装 |
| 透明桌宠模式 | 角色悬浮在任意窗口上陪你写代码 |
⚡ 三步跑起来
环境要求
先确认三件事,缺哪个补哪个:
- Python:3.10 到 3.12(即 3.10、3.11、3.12)
- Git:用来拉前端子模块
- 磁盘:留 5GB 以上,放依赖和模型
拉代码
把仓库克隆到本地,再进目录:
git clone https://gitcode.com/GitHub_Trending/op/Open-LLM-VTuber cd Open-LLM-VTuber装依赖
项目用 uv 这个包管理器,一条命令装好全部依赖:
uv sync启动,看到结果
启动服务:
uv run run_server.py浏览器打开http://localhost:12393(端口写在 conf.yaml 里)。看到 Live2D 角色、左上角绿色 Connected 标识,就成了。
默认配置用 Ollama 当"大脑"。界面能打开,但聊天要有反应,你得先装好 Ollama 并拉一个模型(默认是 qwen2.5)。
🎧 三个核心功能
实时语音对话
不用敲一个字,点麦克风就能聊。
- 语音打断:你插话,AI 立刻停,它听不到自己的声音
- 免打字识别:说的内容转成文字(语音识别,ASR)
- 开口回应:回复用文字转语音(TTS)读出来,默认中文女声
应用模式界面:右侧教室场景里的 Live2D 角色,底部是麦克风、手势按钮和输入框
第一次听到它用女声接住你说到一半的话,确实有种在跟真人聊的感觉。
看你的屏幕(视觉感知)
让它"看见"你正在干嘛。
- 共享屏幕:把桌面或某个窗口投给它
- 摄像头:也可以开摄像头
- 看图理解:结合模型的视觉能力来回答
浏览器里的桌宠:左下角 Screen 正在共享,角色在日式房间场景里
开着它一起过代码、看文档,问一句"这屏在显示啥",它真能答。
透明桌宠模式
把角色拖到任意窗口上,像个小挂件。
- 透明置顶:悬浮在所有窗口之上
- 鼠标穿透:点击直接穿过角色,不挡操作
- 随手拖:拖到哪停哪
VSCode 里悬浮的 Live2D 桌宠,右下角气泡显示它正在思考的内容
写代码时把它停在编辑器边上,不干活也碍不着你。
🔧 进阶玩法
换个角色(性格 + 形象 + 声音)
角色配置都放在characters/目录,一个 yaml 就是一个角色,页面上能直接切。
- 改人设:改
persona_prompt字段,换个性格 - 换形象:改
live2d_model_name,名字要在 model_dict.json 里注册过,模型文件放live2d-models/ - 换声音:覆盖
tts_config里的音色
角色写法示例见 characters/README.md。
换背景 / 接 B 站直播
- 换背景:把图片丢进
backgrounds/目录,页面上选 - 接 B 站:跑 scripts/run_bilibili_live.py 让角色看直播弹幕(依赖见 requirements-bilibili.txt)
🛟 避坑速查
Q:页面打不开,提示 Not Found?前端是 Git 子模块,多半没拉下来。在仓库目录跑git submodule update --init --recursive;如果之前动过frontend/文件夹,先git restore frontend。
Q:界面开了,但角色不回话?默认"大脑"是 Ollama。确认 Ollama 已启动、且拉过模型,conf.yaml里ollama_llm的base_url指向http://localhost:11434/v1、model填你拉过的名字。
Q:想用手机或别的电脑访问?浏览器麦克风只在 https 或 localhost 下能用。远程访问要配 https 反向代理,否则麦克风打不开。
Q:怎么更新到新版本?v1.0.0 之后的版本,跑uv run upgrade.py即可。
完整安装流程以项目文档站为准;想动手定制就看 config_templates/ 里的默认配置和characters/的写法。先让它在 localhost 上开口,再慢慢换脸、换声音。
【免费下载链接】Open-LLM-VTuberTalk to any LLM with hands-free voice interaction, voice interruption, and Live2D avatar running locally across platforms项目地址: https://gitcode.com/GitHub_Trending/op/Open-LLM-VTuber
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考