企业官网建设流程全解析

FireRedAudio长音频理解实战：如何让模型对齐长达1小时录音的时间戳与内容

【免费下载链接】FireRedAudio项目地址: https://gitcode.com/gh_mirrors/fi/FireRedAudio

FireRedAudio是一个通用音频语言模型，它最亮眼的长音频理解能力，是让模型对齐长达 1 小时录音的时间戳与内容——既能按时间检索内容，也能根据内容反查时间，还能产出带时间戳的结构化摘要。下面这份实战指南，帮你从零跑通"听长录音、对时间戳"的完整流程。

为什么"1小时录音对齐时间戳"很难？

大多数音频模型处理长音频时的通病是：切段、拼接、丢上下文，最后时间线错位。FireRedAudio 的做法是把音频转成每秒 12.5 个连续嵌入（16kHz 输入 → 128 维 mel 特征 → 32 层编码器 + 卷积下采样），再按原始顺序展开进语言模型序列。这意味着 1 小时录音对应约 4.5 万个音频嵌入，与文本 token 在同一序列里严格保序，模型天然知道"这句话在第几分钟"。

关键实现可以对照仓库查看：

• 音频重采样与读取逻辑：fireredaudio/utils/audio.py（理解任务用 16kHz，生成任务用 24kHz）
• 编码器输出长度如何从 mel 帧数折算成音频 token 数：fireredaudio/audio_encoder/modeling_audio_encoder.py
• 占位符按音频实际长度展开为 12.5Hz token 序列：fireredaudio/data/prompt_encoder.py
• 理解任务的完整推理入口understand()：inference.py

官方说明明确承诺了这项能力：Go from minutes to hour-long recordings — precise time-to-content alignment（见 README.md），官方演示视频也展示了对长录音的时间-内容对齐效果。

三种典型玩法：从"听录音"到"查时间"

玩法一：给 1 小时录音生成带时间戳的结构大纲

直接让模型输出一张时间轴表格即可，无需任何切分预处理：

请将这段录音整理为时间戳大纲，每 5 分钟为一个条目， 格式：[HH:MM] 主题 + 一句话要点。

玩法二：按内容反查时间（time by content）

录音中讨论"预算审批"的段落出现在哪些时间点？请给出起止时间。

玩法三：有据可查的摘要（grounded summary）

请先用 Chain-of-Thought 分析录音中的关键论据， 再给出 300 字摘要，每个结论后标注对应的时间范围。

开启--enable-thinking（或 API 中enable_thinking=True）可以让模型先推理再作答，复杂长录音上的定位准确率更高。相关参数解析见 inference.py 的采样配置与 inference.py 的说明。

三步跑通：安装、下模型、推长录音

第一步：克隆仓库并安装环境

需要Python 3.10、uv、CUDA 工具包和 ffmpeg：

git clone https://gitcode.com/gh_mirrors/fi/FireRedAudio cd FireRedAudio uv sync --extra accel --extra accel-build --group tools # 编译 causal-conv1d、flash-attn

flash-attn 与 liger 是可选加速项，缺失时会自动回退到 sdpa（见 fireredaudio/loading.py），但会改变 bf16 数值结果。

第二步：下载预训练模型

# Hugging Face uv run hf download FireRedTeam/FireRedAudio --local-dir pretrained_models/ # 或 ModelScope uv pip install modelscope uv run modelscope download --model FireRedTeam/FireRedAudio --local_dir pretrained_models/

理解任务（ASR / understand）不需要VAE 解码器权重，显存和下载量都比生成任务更省。

第三步：命令行理解 1 小时录音

# 让模型给长录音生成时间戳大纲 uv run inference.py --task understand \ --model pretrained_models/FireRedAudio \ --audio your_1hour_recording.wav \ --prompt "请将录音整理为时间戳大纲，每5分钟一条，格式：[HH:MM] 主题+要点" \ --max-new-tokens 8192 # 按内容查时间，并开启思维链 uv run inference.py --task understand \ --model pretrained_models/FireRedAudio \ --audio your_1hour_recording.wav \ --prompt "讨论预算审批的段落出现在哪些时间点？给出起止时间。" \ --enable-thinking --max-new-tokens 4096

注意：时间戳大纲这类长输出记得调大--max-new-tokens，默认只有 300 token，长录音会截断。

更喜欢图形界面的话，单文件 Gradio 应用 app.py 集成了全部四个任务，理解页签暴露了完整的 Qwen3 采样参数与思维链开关：

uv pip install gradio uv run app.py --model_path pretrained_models/FireRedAudio --host 0.0.0.0 --port 7860

核心处理函数understand_audio位于 app.py。

提示词技巧清单：让时间戳更准

注意事项与限制 ⚠️

• 语言：音频理解与生成任务目前仅支持中、英文，只有 ASR 支持更多语言（见 README.md）。
• 时长上限：官方测试到约 1 小时，超出后时间-内容对齐精度可能下降。
• 输出截断：时间戳大纲是长输出，max_new_tokens太小会只拿到半张表。
• 采样参数（temperature / top_p 等）在 Web 端可随时调整，思维链模式推荐temperature=0.6, top_p=0.95（见 app.py）。

小结

FireRedAudio 用"12.5Hz 连续音频嵌入 + 9B 语言骨干"的组合，把长音频理解变成了"对着一张时间轴提问"：生成大纲、按时间查内容、按内容查时间、接地摘要，全部一条命令完成。按照上面的三步流程，你现在就能让模型对齐自己那盘 1 小时的会议录音。

【免费下载链接】FireRedAudio项目地址: https://gitcode.com/gh_mirrors/fi/FireRedAudio