无需训练模型,几秒音频就能复刻声音:OpenVoice 语音克隆快速上手指南
【免费下载链接】OpenVoiceInstant voice cloning by MIT and MyShell. Audio foundation model.项目地址: https://gitcode.com/GitHub_Trending/op/OpenVoice
想让 AI 用某个人的声音开口,以前要录几分钟素材再训一个模型,现在一段几秒的参考音频就够了。OpenVoice 是 MIT 与 MyShell 开源的即时语音克隆音频基础模型,不训练、不挑录音条件,开发者和内容创作者都能快速得到一个音色稳定的可用声音。
三分钟见到效果
不想装任何东西,最短路径是官方已部署好的在线服务,提供英式英语、美式英语、中文、日语、韩语、西班牙语、法语等九种语言入口。三步跑通:
- 进入 MyShell 的 Workshop,创建一个 Bot;
- 在设置里打开 Voice (TTS),到 Widget Center 的 TTS 分类里试听,挑一个基础音色;
- 通过 voice cloning 上传几秒参考语音,输入要朗读的文本,几秒后出结果。
原理一张图
流程拆开就四步,音色特征向量可以理解为声音的"指纹":
- 文本加风格参数(情感、口音、语调)送入 Base speaker TTS 模型,合成一段带目标风格的语音;
- 音色提取器(把音频压缩成音色特征向量的部件)从参考音频里提取参考人的音色;
- 音色转换模块把合成语音的音色替换成参考人的音色,风格参数原样保留;
- 输出最终音频:听起来像那个人,情感与节奏却由你指定。
核心就一句:音色与风格解耦,只换"指纹",不动风格。
本地跑起来:命令清单与高频踩坑
环境要求一句话:Linux + Python 3.9,且你熟悉 Linux、Python 和 PyTorch。最短命令如下:
conda create -n openvoice python=3.9 conda activate openvoice git clone https://gitcode.com/GitHub_Trending/op/OpenVoice cd OpenVoice pip install -e .装完可以直接起本地 Gradio 页面:python -m openvoice_app --share。
高频踩坑三条:
- 别漏下载模型权重:装完还要把官方 checkpoint 解压到
checkpoints(V1)或checkpoints_v2(V2)文件夹,否则启动找不到模型;用 V2 还需额外安装 MeloTTS。 - 首次运行要联网:
se_extractor.py里的 silero-vad 组件首次调用会自动下载,网络受限环境要手动获取并解压到~/.cache/torch/hub/对应目录。 - 它是技术不是成品:官方明确定位面向开发者与研究者,遇到不稳定输出,先查参考音频而不是怀疑框架。
适合谁:场景速览
- 🎬视频配音:替换解说员音色而不动原有节奏,省掉重新录音的档期成本。
- 📚有声内容与朗读:用同一人声音色批量产出中英朗读,省掉多配音演员的协调成本。
- 🌐多语言内容:V2 原生支持英语、西班牙语、法语、中文、日语、韩语,参考人和输出语言可以不同,省掉逐语言找嗓子的成本。
- 📱个性化语音:让智能设备或 Bot 用熟悉的声音回应,省掉定制 TTS 的建模成本。
上手前必看的 5 个问题
需要什么硬件?
本地部署建议准备 GPU 加速;不想装环境的话,直接用在线服务,零硬件要求。
支持哪些语言?
参考音频可以是任意语言;V2 原生支持英语、西班牙语、法语、中文、日语、韩语。
可以商用吗?
可以。V1、V2 均为 MIT 协议,商业与研究用途免费。
生成的声音不像怎么办?
按顺序查参考音频:有无背景噪音、是否混入多人、时长是否太短、有无长段空白,命中任何一条就换更干净的素材。
能克隆情感和口音吗?
不能。它只克隆音色,情感与口音由所选基础 TTS 模型决定,风格参数可在该模型内单独调整。
想要一个不训练、马上能用、跨语言可复用的稳定声音,OpenVoice 值得一试。官方入口:
- 使用文档:docs/USAGE.md
- 常见问题:docs/QA.md
- 核心源码:openvoice/
【免费下载链接】OpenVoiceInstant voice cloning by MIT and MyShell. Audio foundation model.项目地址: https://gitcode.com/GitHub_Trending/op/OpenVoice
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考