【免费下载链接】IndexTTS-2.5-fp16
IndexTTS-2.5-fp16 是开源语音合成模型 IndexTTS-2.5 的 MLX fp16 权重版,专为 Apple Silicon 优化,支持中、英、日、西、阿 5 种语言与声音克隆。本快速开始教程将带你 5 分钟克隆权重、配好推理环境,合成第一句自然的中文语音。
🎯 为什么选择 IndexTTS-2.5-fp16
- 纯 Mac 本地运行:基于 Apple MLX 框架转换的 fp16 权重,M 系列芯片统一内存直接推理,无需 NVIDIA 显卡。
- 体积更小:fp16 半精度让核心 GPT 权重仅约 1.6GB,内存占用显著降低。
- 能力完整:保留 2.5 版全部特性——多语言、情绪调节、CAMPPlus 说话人投影、24kHz 高保真输出。
- 转换可靠:全部张量经过覆盖校验,转换状态
pass,详见 conversion_report.json。
✅ 开始前的 3 个环境检查
| 检查项 | 最低要求 | 推荐配置 |
|---|---|---|
| 硬件 | Apple Silicon Mac(M 系列芯片) | M1 Pro 及以上 |
| 统一内存 | 8GB | 16GB 及以上 |
| 系统 | macOS 13+ | macOS 14+ |
💡 为什么强调 Mac?本仓库权重为 MLX 格式(
.safetensorsfp16),NVIDIA 显卡电脑无法直接加载,请在 Mac 上体验本教程。
📦 一键克隆:如何下载 IndexTTS-2.5-fp16 权重
git clone https://gitcode.com/hf_mirrors/mlx-community/IndexTTS-2.5-fp16 cd IndexTTS-2.5-fp16克隆完成后,你会得到模型权重、配置文件与多语言分词器。注意:权重文件通过 Git LFS 分发,如果拉到的是只有几百字节的"指针文件",请安装git-lfs后执行git lfs pull获取真实数据。
🗂️ 文件清单:5 个核心权重文件分别是什么
| 文件 | 组件 | 作用 |
|---|---|---|
| gpt.safetensors | UnifiedVoice 2.5 GPT(24 层 × 1280 维) | 文本→语音 token 的"大脑",内置说话人投影与情绪条件模块 |
| codec.safetensors | EnhancedCodec | 语义编解码器(8192×8 FVQ,25 帧/秒) |
| s2mel.safetensors | S2Mel(DiT/CFM) | 语音 token → mel 频谱,决定节奏与音色细节 |
| bigvgan.safetensors | BigVGAN v2 声码器(NVIDIA,MIT) | mel 频谱 → 最终波形 |
| model.safetensors | w2v-bert-2.0(Meta,MIT,fp32) | 语义前端,负责提取参考音频特征 |
| multilingual_zh_ja_yue_char_del.tiktoken | tiktoken BPE 词表 | 覆盖 60,509 个 token 的多语言分词器 |
| feat1.pt / feat2.pt / wav2vec2bert_stats.pt | 统计矩阵 | 说话人矩阵、情绪矩阵、特征统计量 |
| config.json / config.yaml | 配置文件 | 模型超参与推理参数,二选一看即可 |
完整文件清单与字节数见 model_manifest.json,各组件的转换来源与张量映射明细见 README.md。
⚡ 5 分钟合成第一句:从参考音频到成品
本仓库是"纯权重 + 配置",需要搭配一个 MLX 推理端来运行,可选两条路线:
- Python 路线:
mlx-indextts2(Python-MLX 移植,MIT 协议) - Swift 路线:
mlx-indextts2-swift(Swift-MLX 移植,Apache-2.0 协议)
以 Python 路线为例,核心步骤只有 4 步:
- 准备环境:安装 Python 3.10+ 与
mlx、mlx-indextts2相关依赖。 - 加载权重:推理端指向本仓库目录,自动读取 config.json 并加载 5 个 safetensors 权重。
- 准备参考音频:剪一段 5~15 秒的干净人声(无 BGM、无混响、单人声),作为声音克隆的"声纹样本"。
- 输入文本,导出 WAV:
# 示意:加载模型 → 提供参考音频与文本 → 导出 wav output = tts.infer(text="你好,我是 IndexTTS。", ref_audio="ref.wav") output.save("first.wav")打开first.wav,你的第一句合成就完成了 🎉 输出采样率为 24kHz(见 config.json 中的dataset.sample_rate)。
🌐 支持的语言与音频规格速查
| 项目 | 参数 | 配置位置 |
|---|---|---|
| 支持语言 | 中 / 英 / 日 / 西 / 阿(zh, en, ja, es, ar) | supported_languages |
| 输出采样率 | 24,000 Hz | dataset.sample_rate |
| mel 规格 | 100-band,hop 256,window 1024 | dataset.mel |
| 文本分词 | tiktoken BPE,60,509 tokens | tokenizer |
| 语义码率 | 25 帧/秒,码本 8192×8 | semantic_codec |
以上均可在 config.yaml 中逐项核对,参数含义一目了然。
🩺 常见问题排查
Q1:克隆下来的权重文件只有 100 多字节?Git LFS 未生效。安装git-lfs后进入仓库目录执行git lfs install && git lfs pull重新拉取即可。
Q2:合成时内存告急?GPT 权重约 1.6GB(fp16),再叠加 w2v-bert 语义前端(fp32)与推理缓冲,建议统一内存 16GB 起步;关闭其他大型应用可有效缓解。
Q3:合成声音不像参考人?换一段更干净的参考音频:单人、无背景音、时长 8 秒左右,音色相似度会显著提升。
Q4:合成慢吗?首次运行需加载全部权重,稍慢属正常;之后 Apple Silicon 统一内存 + fp16 下,短句合成通常在数秒内完成。
⚖️ 使用许可:商用前必读
模型权重遵循bilibili 模型使用许可协议(见 LICENSE):
- ✅ 允许商业用途;
- ⚠️ 产品月活超 1 亿或上年营收超 10 亿元人民币时,需另行向 bilibili 申请授权;
- ✅
bigvgan.safetensors与model.safetensors为 MIT 协议; - ⚠️ 分发副本时请随附 LICENSE 及声明(协议第 3.4 条)。
🚀 下一步:进阶方向
- 调语气情绪:GPT 条件模块自带情绪调节器,参考音频控制音色,可尝试不同说话人素材;
- 改推理参数:全部超参集中在 config.json 的
gpt与s2mel段; - 看懂转换过程:阅读 conversion_report.json 中的张量映射明细,
status: pass即代表校验通过。
现在打开终端,克隆仓库,让你的第一句话"开口"吧!
【免费下载链接】IndexTTS-2.5-fp16
相关推荐
10分钟跑通第一笔支付:hyperswitch-prism快速开始完整教程
10分钟跑通第一笔支付:hyperswitch prism快速开始完整教程 Hyperswitch Prism (hyperswitch prism)是一个开源
5分钟跑通第一个表格回归:Nori-100M安装与快速开始完整教程
5分钟跑通第一个表格回归:Nori 100M安装与快速开始完整教程 Nori 100M 是一个专为表格数据(tabular data)回归任务打造的 AI 基础
5分钟跑通Qwen3.8-27B-NVFP4:vLLM快速开始完全教程
5分钟跑通Qwen3.8 27B NVFP4:vLLM快速开始完全教程 Qwen3.8 27B NVFP4 是 NVIDIA 基于 Model Optimize
人工智能大模型模型量化多模态
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考