企业官网建设流程全解析

Audio8 ASR Infinite：80ms 时钟流式语音识别前瞻

【免费下载链接】Audio8-ASR-Infinite项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-ASR-Infinite

Audio8 ASR Infinite 是面向实时语音交互的原生流式语音识别模型：80ms 时钟下每秒 12.5 次出字判定，转写延迟 240–560ms 可配，中英双语，权重约 8.17GB。Preview 版已交付 ASR 基座，路线图指向正式版在同一帧网格上的帧级语义感知。

场景引入：说到一半被打断，怎么办？

用语音助手时你大概率遇到过：话说到一半停顿想措辞，它立刻抢答；口吃重复"那个……那个"，这句话被截成两句；会议转写里，一个人的话断到了另一个人头上。传统声学 VAD 只能回答"此刻有没有声音"，回答不了"这个人是不是说完了"。抢答、断句错乱、长通话后系统"失忆"，这些痛点的根源都在于识别与断句是两套割裂的机制。Audio8 ASR Infinite 就是针对实时语音交互这条链路做的流式识别模型。

项目速览：三档时钟与可配延迟的流式识别基座

它是原生流式架构：模型按固定音频时钟持续消费波形、每个时钟步产出 1 个文本 token，不依赖"先切句、再识别"的后处理。音频塔沿用 Voxtral Realtime 4B、文本解码器基于 Qwen2.5-3B-Instruct，各组件均经过重训练（架构与权重来源见 README.md 的 Architecture 表）。Preview 版已交付 80/120/160ms 三档时钟、240–560ms 可配延迟、24/7 无限长转写，支持中英双语。

用三个问题看懂它的核心能力

为什么 80ms 时钟下还能又快又稳地出字？

简单理解：音频塔按 20ms 一帧处理波形，4/6/8 帧打包成一组进前向，时钟就分别是 80/120/160ms；target_delay_ms再换算成"延迟 token 数"，决定听到多久才落笔。

config.json 中audio_tower_frame_ms: 20与frame_lens: [4, 6, 8]定义了三档时钟，每档还配有不同的左侧补齐 token 数（streaming_n_left_pad_tokens_by_frame_len：18 / 12 / 9），补偿模型"向右看"未来音频时的感知偏差；音频前端为 16kHz、128 mel bins（见 preprocessor_config.json）。延迟侧，configuration_audio8_asr_infinite.py 的resolve_num_delay_tokens要求target_delay_ms必须是所选时钟的整数倍，再整除成延迟 token 数——80ms 时钟下 480ms 即 6 个 token，映射表num_delay_tokens_by_frame_len也直接写在 config.json 里。时钟越短响应越快、算力开销越大：语音助手、电话客服这类抢答场景建议 80ms，批量转写选 160ms 更划算。README 提示仅表中组合经过后训练调优，其他组合可用但不保证最优。

如何 7×24 小时不间断转写？

简单理解：上下文只保留最近 30 秒，滚动时对位置编码做精确 RoPE 重基准化，所以内存和延迟不随通话时长增长。

checkpoint 的原生上下文只有 30 秒（见 README.md），配合 30 秒滚动 KV 窗口 + 精确 RoPE re-basing，可以无限制时长连续转写，全天候会议、客服通话这类 24/7 运营场景下内存与延迟全程恒定。README 内嵌的演示视频 Audio8-Asr-Infinite-Demo.mp4 展示的就是这种不间断转写效果。

凭什么判断你说完了？

简单理解：一组分类头在每次前向时同步预测未来 0.5 / 1 / 2 / 3 秒内还会出现几个语义单元，第 0 类即"结束轮次"，客户端以它作为断句阈值。

这套 Semantic VAD 的参数契约写在 configuration_audio8_asr_infinite.py：semantic_vad_horizons_seconds为 0.5 / 1.0 / 2.0 / 3.0 秒共 4 个时窗，semantic_vad_num_classes: 8。模型实现见 modeling_audio8_asr_infinite.py 的attach_semantic_vad_heads：每个头读取文本主干最后一层隐状态，与主模型共享同一帧网格、同一次声学前向，不引入额外音频模型、不做第二次推理——这是它能零额外开销跑在实时链路里的前提。预览版权重中该套判定头已经随仓库交付（semantic_vad_heads.safetensors），等正式版把实时客户端接上。

数据说话：官方评测实测

评测条件（README 原文）：贪婪解码并抑制 EOS，80ms 音频时钟、target_delay_ms = 480（6 个延迟 token），误差率单位为百分比。

中文（aishell）上优势明显：aishell1 CER 1.750，约为对比对象的四分之一；英文（librispeech）上落后于 Voxtral-Mini-4B-Realtime，但优于 nemotron-3.5。平均 3.623 对比 10.253 / 9.524，README 同时注明无重复循环、无尾部丢词。需要留意：nemotron 一列是 560ms 延迟下的成绩，与 Audio8 的 480ms 并不完全同档。

发展节奏：现在 / 下一步 / 之后

三步体验

1. 获取权重：git clone https://gitcode.com/hf_mirrors/Edge0/Audio8-ASR-Infinite，仓库本身就是完整合并权重目录；只支持这种完整形式，不支持 adapter 或部分转换权重。
2. 本地模拟流式体验：用 transformers 开启trust_remote_code加载 checkpoint 做模拟流式解码，或直接运行python -m audio8_asr_infinite.examples.torch_streaming_decode --checkpoint /path/to/checkpoint --audio sample.wav --language zh --transcription-delay-ms 480。
3. 生产部署与在线 Demo：官方推荐 vLLM 定制版 + Docker Compose，AUDIO8_MODEL_DIR=/path/to/checkpoint docker compose up -d后打开http://localhost:8080/即可体验"说话—出字"全链路，WebSocket 实时接口为/v1/realtime。

收尾：转写与断句在同一帧上合流

Preview 版已验证三件事：原生流式把判定频率做到每秒 12.5 次，滚动 KV 缓存让 24/7 转写内存与延迟恒定，中英平均误差 3.623% 处于第一梯队。正式版将把帧级语义感知接到同一个帧网格上，回答"这个人真的说完了吗"——转写与断句在同一次前向里合流，是实时语音交互体验的分水岭。

【免费下载链接】Audio8-ASR-Infinite项目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Audio8-ASR-Infinite