30分钟跑通零样本TTS:无官方权重也能玩转VoiceBox
【免费下载链接】voiceboxThe open-source AI voice studio. Clone, dictate, create.项目地址: https://gitcode.com/GitHub_Trending/voicebox1/voicebox
前阵子刷GitHub热榜,有个叫Voicebox的项目直接冲上榜单,评论区清一色一句话:“这不就是免费开源版的ElevenLabs吗?”
要知道,像ElevenLabs这样的AI配音神器,用多了账单可不便宜,而且每次发语音都得把文字交给云端。很多自媒体博主和开发者早就想搞一个本地版:声音数据不出电脑,生成不要钱,克隆不用排队。
Voicebox就是干这个的。而且它上手快得离谱——不用会写代码,30分钟之内,你完全能让AI用你(或者你朋友)的声音,把一段文字念出来。
一、先说清楚:这是谁家的Voicebox?
这里有个特别容易搞混的坑,必须得跟大家掰扯明白。
早在2023年,Meta(就是Facebook母公司)就发布过一个叫VoiceBox的语音生成大模型,当年直接刷屏,号称“语音领域的GPT时刻”。但尴尬的是——Meta只发了论文,从没放出官方模型权重。
什么意思?打个比方:人家把菜谱印得漂漂亮亮发给了全世界,但就是不把调料罐递给你。想吃这道菜?自己按菜谱复刻吧。
于是全球开发者就卷起来了,各种“照着Meta配方复刻”的开源实现满天飞。网上那些“社区权重下载、离线配置、下载失败排查”的硬核教程,讲的就是这条复刻路线。确实有人30分钟就跑通了,但说实话,那基本是程序员的自留地。
而我们今天要聊的这个Voicebox(注意:和Meta的论文同名,是致敬,不是同一个东西),走的是另一条路——它干脆把复刻、调参、装环境这些脏活累活全包了,打包成一个开箱即用的桌面应用。
一句话总结它的定位:“AI语音工作室”。克隆声音、生成语音、对着任何软件口述打字,全都在你自己电脑上完成。以前你得同时买两个订阅——ElevenLabs管“说”,WisprFlow管“听”,现在一个应用全干了。
二、到底有多牛?三个能力看懵网友
1. 几十秒音频,就能“偷”走一个人的声音
这就是标题里说的“零样本TTS”:AI事先没学过这个人的任何训练课程,你只给它10到30秒的录音,它就能“听声辨人”,把音色、说话节奏都学走,之后你说什么文本,它就用这个声音念。
体验流程简单到让人想笑:点“新建声音”→上传一段录音(或者直接用软件自带的麦克风现场录)→去生成页敲字→点生成。几秒钟后,你就能看到“自己的声音”在读一段从没说过的话。
有博主拿它克隆了自己,然后让它给自己配音,说“逼真到发给自己微信都没认出来”。
2. 内置8个“发声引擎”,总有一款适合你
这可能是它最聪明的设计。它不是只绑一个模型,而是内置了8个TTS引擎(Qwen3-TTS、Chatterbox、Kokoro、HumeAI TADA等),生成时随便切:
- 想要覆盖语种最广?Chatterbox支持23种语言,阿拉伯语、日语、印地语、斯瓦希里语都能念;
- 想要机器配置低点也能跑?Kokoro模型只有82M,小到什么程度?普通CPU就能跑,还自带50多个现成的精选音色;
- 想要情绪拉满?Chatterbox Turbo支持在文字里加“表情符号式”的声音标签,比如念到某个词时插入
[laugh](笑)或者[whispering](耳语),出来的语音真的会笑、会气声说话。
写播客脚本的时候,来一句[sigh]叹气再开口,氛围感直接到位,这就是配音和“念稿机器”的差距。
3. 不光会“说”,还会“听”
很多人不知道,这个应用把语音输入也做全了:
- 全局热键听写:在任何软件里(写文档、回邮件、敲代码),按住一个快捷键开口说话,松手后文字自动转成文字粘进去。转写用的是OpenAI的Whisper模型,而且还能接一个本地大模型帮你自动去掉“嗯、啊、然后”这些口水词;
- 多轨故事编辑器:给做播客的人准备的时间轴,多个声音分轨排布、拖拽剪辑、一键导出,做访谈节目、有声书都能用;
- 给AI助手配嗓:它内置了一个小接口(MCP协议),你常用的AI编程工具接上之后,AI干完活可以“开口”跟你汇报,用的还是你克隆好的声音。想象一下AI用你自己的声线跟你说“部署完成”,这个画面是不是有点赛博朋克?
三、30分钟上手:不写一行代码是什么体验?
先说结论:门槛低到让程序员失业,让小白狂喜。
整个过程不用装Python、不用配显卡驱动、不用碰命令行,大致就是这么个节奏:
- 下载安装包:macOS(苹果芯片/Intel)和Windows都有现成的安装程序,官网或GitHub发布页直接下载,双击装完事;
- 首次启动,它自己下载模型:第一次生成时,你选的引擎会自动下载对应的模型文件(从几百MB到几GB不等,下载进度条都给你做好了),下完就用,不用手动找权重、不用管什么离线配置——这些正是社区复刻教程里最劝退的部分;
- 克隆声音:找段10~30秒清晰录音,新建声音档案,搞定;
- 生成语音:选声音、敲文字、点生成。第一条稍微慢一点(模型首次加载),后面就是秒级的体验。
硬件要求也不吓人:8GB内存的普通笔记本就能跑(推荐16GB),没有独立显卡的机器用Kokoro、LuxTTS这类小引擎照样出活,只是速度慢些;有N卡(CUDA)或者苹果M系列芯片(MLX)的,速度直接起飞,官方数据显示能快4~5倍。
当然,如果你是程序媛或者极客,它也没把你当外人:本地起着一个完整的API服务,想对接自己的项目?直接调用。Linux用户也可以用Docker一键起服务,或者跟着官方文档从源码构建。
四、跟同类工具比,它赢在哪?
社区里对比最凶的永远是它和ElevenLabs,咱们用大白话列个账:
| 维度 | 云端AI配音(如ElevenLabs) | Voicebox(本地) |
|---|---|---|
| 费用 | 按月订阅,用多扣多 | 免费,MIT开源协议,商用也随意 |
| 隐私 | 文字和声音都上云 | 全程本地,声音数据一根头发都不出电脑 |
| 速度 | 看网络 | 局域网内秒级,断网也能用 |
| 上限 | 模型固定 | 8个引擎随便切,还可持续加新模型 |
难怪它在CSDN、掘金上被反复安利,有篇高收藏的长文直接给了四个字的评价:“十分好用”。对录播客、做课程、剪口播视频的人来说,等于白捡了一个不要钱、不限量、断网可用的配音师。
五、写在最后
Meta当年那篇论文只给菜谱不给调料,结果逼出了一整个复刻社区,最后长成了今天这样一款人人可用的“AI语音工作站”。这就是开源社区最迷人的地方:一个模型没有权重,照样挡不住大家把它变成生产力工具。
未来两年,这类“本地跑、零成本、强隐私”的语音工具大概率会越来越多。到时候“给AI配自己的声音”可能就像今天给手机装App一样稀松平常。
最后抛个问题给大家聊聊:**如果是你自己的声音24小时在线帮你念稿、配音、回消息,你觉得是科技改变生活,还是有点细思极恐?**评论区等你。
【免费下载链接】voiceboxThe open-source AI voice studio. Clone, dictate, create.项目地址: https://gitcode.com/GitHub_Trending/voicebox1/voicebox
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考