☰
无需训练模型,几秒音频就能复刻声音:OpenVoice 语音克隆快速上手指南
2026/10/19 2:15:32 网站建设 项目流程

无需训练模型,几秒音频就能复刻声音:OpenVoice 语音克隆快速上手指南

【免费下载链接】OpenVoiceInstant voice cloning by MIT and MyShell. Audio foundation model.项目地址: https://gitcode.com/GitHub_Trending/op/OpenVoice

想让 AI 用某个人的声音开口,以前要录几分钟素材再训一个模型,现在一段几秒的参考音频就够了。OpenVoice 是 MIT 与 MyShell 开源的即时语音克隆音频基础模型,不训练、不挑录音条件,开发者和内容创作者都能快速得到一个音色稳定的可用声音。

三分钟见到效果

不想装任何东西,最短路径是官方已部署好的在线服务,提供英式英语、美式英语、中文、日语、韩语、西班牙语、法语等九种语言入口。三步跑通:

  1. 进入 MyShell 的 Workshop,创建一个 Bot;
  2. 在设置里打开 Voice (TTS),到 Widget Center 的 TTS 分类里试听,挑一个基础音色;
  3. 通过 voice cloning 上传几秒参考语音,输入要朗读的文本,几秒后出结果。

原理一张图

流程拆开就四步,音色特征向量可以理解为声音的"指纹":

  1. 文本加风格参数(情感、口音、语调)送入 Base speaker TTS 模型,合成一段带目标风格的语音;
  2. 音色提取器(把音频压缩成音色特征向量的部件)从参考音频里提取参考人的音色;
  3. 音色转换模块把合成语音的音色替换成参考人的音色,风格参数原样保留;
  4. 输出最终音频:听起来像那个人,情感与节奏却由你指定。

核心就一句:音色与风格解耦,只换"指纹",不动风格。

本地跑起来:命令清单与高频踩坑

环境要求一句话:Linux + Python 3.9,且你熟悉 Linux、Python 和 PyTorch。最短命令如下:

conda create -n openvoice python=3.9 conda activate openvoice git clone https://gitcode.com/GitHub_Trending/op/OpenVoice cd OpenVoice pip install -e .

装完可以直接起本地 Gradio 页面:python -m openvoice_app --share。

高频踩坑三条:

  • 别漏下载模型权重:装完还要把官方 checkpoint 解压到checkpoints(V1)或checkpoints_v2(V2)文件夹,否则启动找不到模型;用 V2 还需额外安装 MeloTTS。
  • 首次运行要联网:se_extractor.py里的 silero-vad 组件首次调用会自动下载,网络受限环境要手动获取并解压到~/.cache/torch/hub/对应目录。
  • 它是技术不是成品:官方明确定位面向开发者与研究者,遇到不稳定输出,先查参考音频而不是怀疑框架。

适合谁:场景速览

  • 🎬视频配音:替换解说员音色而不动原有节奏,省掉重新录音的档期成本。
  • 📚有声内容与朗读:用同一人声音色批量产出中英朗读,省掉多配音演员的协调成本。
  • 🌐多语言内容:V2 原生支持英语、西班牙语、法语、中文、日语、韩语,参考人和输出语言可以不同,省掉逐语言找嗓子的成本。
  • 📱个性化语音:让智能设备或 Bot 用熟悉的声音回应,省掉定制 TTS 的建模成本。

上手前必看的 5 个问题

  1. 需要什么硬件?

    本地部署建议准备 GPU 加速;不想装环境的话,直接用在线服务,零硬件要求。

  2. 支持哪些语言?

    参考音频可以是任意语言;V2 原生支持英语、西班牙语、法语、中文、日语、韩语。

  3. 可以商用吗?

    可以。V1、V2 均为 MIT 协议,商业与研究用途免费。

  4. 生成的声音不像怎么办?

    按顺序查参考音频:有无背景噪音、是否混入多人、时长是否太短、有无长段空白,命中任何一条就换更干净的素材。

  5. 能克隆情感和口音吗?

    不能。它只克隆音色,情感与口音由所选基础 TTS 模型决定,风格参数可在该模型内单独调整。

想要一个不训练、马上能用、跨语言可复用的稳定声音,OpenVoice 值得一试。官方入口:

  • 使用文档:docs/USAGE.md
  • 常见问题:docs/QA.md
  • 核心源码:openvoice/

【免费下载链接】OpenVoiceInstant voice cloning by MIT and MyShell. Audio foundation model.项目地址: https://gitcode.com/GitHub_Trending/op/OpenVoice

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询