让 AI 开口聊天、看得见屏幕,还能当桌面宠物:Open-LLM-VTuber 离线体验指南
2026/9/12 16:48:12 网站建设 项目流程

让 AI 开口聊天、看得见屏幕,还能当桌面宠物:Open-LLM-VTuber 离线体验指南

【免费下载链接】Open-LLM-VTuberTalk to any LLM with hands-free voice interaction, voice interruption, and Live2D avatar running locally across platforms项目地址: https://gitcode.com/GitHub_Trending/op/Open-LLM-VTuber

Open-LLM-VTuber 是一个可以完全离线跑在电脑上的语音交互 AI 伴侣:你对着麦克风说话,Live2D 形象的 AI 角色用语音回复你,还能看到你的屏幕、被拖到桌面任意角落当桌宠。适合想折腾本地大模型、又希望交互形式不止是打字框的新手和爱好者。

为什么你会需要它

大多数本地 LLM 玩法停留在聊天窗口的打字界面,体验接近"高级搜索框"。这个项目把交互方式换成了语音加形象:

  • 你说话,它听(ASR 转文字),它说话(TTS 合成语音),全程不用敲字;
  • 它有一个 Live2D 形象,会动、会换表情,而不是一个头像图标;
  • 所有环节都能用本地模型离线完成,对话内容不用出你的电脑;
  • 它最初的目标就是用开源方案复刻闭源的 AI 虚拟主播 neuro-sama,所以交互密度明显高于普通聊天机器人。

换句话说,它解决的是"本地 AI 怎么聊得更像一个人"的问题:实时语音、打断、视觉感知这些细节都做好了。

最快跑通方式

最简路径只有四步。项目支持 Windows、macOS 和 Linux:

git clone https://gitcode.com/GitHub_Trending/op/Open-LLM-VTuber.git cd Open-LLM-VTuber pip install -r requirements.txt python run_server.py

依赖装好后启动服务,按终端提示打开浏览器页面(默认端口 12393),页面左上角显示绿色的 Connected 就通了。

第一次启动会引导你选择或下载 LLM、ASR、TTS 的模型,按默认选项走即可。如果你想换成云端 API(比如 OpenAI 兼容接口)省掉本地模型下载,改 config_templates/conf.default.yaml 里的对应段落就行,配置文件本身就是带注释的。

三个值得玩的功能

不戴耳麦也能打断它

语音助手最尴尬的场景是:AI 还在说话,你接了一句嘴,结果它把自己说的也听成了你的话。这个项目做了回声消除,不用耳机、外放也能在它说到一半时直接开口插话,对话节奏接近真人闲聊。

桌宠模式:拖到屏幕任意角落

桌面客户端可以切到宠物模式:背景透明、窗口全局置顶、鼠标点击穿透。你可以把它拖到屏幕右下角写代码,拖到视频旁边当弹幕嘴替,它不挡你的窗口,你也不打断你的操作。

它真的在看你的屏幕

开启屏幕共享或摄像头后,AI 能感知你屏幕上在显示什么、你本人是否在看向它。你正在看什么视频、改什么代码,都可以直接口头问"你觉得这个写得怎么样",它会基于看到的画面回答,而不只是接你的话茬。

用起来是什么感觉

一个典型画面:晚上打开桌宠模式,角色挂在屏幕左下角,你正常写东西。写了二十分钟它主动开口问"你准备让你的世界变得不那么无聊了吗"——这就是它的主动说话功能,不是等你先招呼。你接一句嘴,它用 TTS 语音回应,字幕同步打在形象下方;你觉得它说得不对,直接打断,不用等它说完。

另一个细节是角色可以整只替换:仓库 characters/ 目录下自带几个人设 YAML(比如毒舌的"米粒"),换人设加换 Live2D 模型加换音色,三步就能把同一个项目变成完全不同的"人"。

延伸与生态

  • 想换 LLM 或 TTS 引擎,src/open_llm_vtuber/ 按模块划分,LLM、ASR、TTS 各自是工厂加接口,加一个新实现照着写就行;
  • 社区里另一个同方向的项目 LLM-Live2D-Desktop-Assistant 走桌面助手路线,支持语音唤醒和剪贴板感知,可以对比看看两种思路。

跑起来之后花十分钟打断它几次、把拖到桌面角落看一眼,你会立刻明白这类项目和打字聊天框的差距在哪。

【免费下载链接】Open-LLM-VTuberTalk to any LLM with hands-free voice interaction, voice interruption, and Live2D avatar running locally across platforms项目地址: https://gitcode.com/GitHub_Trending/op/Open-LLM-VTuber

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询