企业官网建设流程全解析

教AI看片听片：Diffusion Studio的6大媒体分析工具完全指南

【免费下载链接】editorAn open-source video editor built for agents. Edits become code, code becomes video.项目地址: https://gitcode.com/gh_mirrors/editor94/editor

Diffusion Studio 是一款专为 AI Agent 打造的开源视频编辑器，它的 6 大媒体分析工具（probe、grab、filmstrip、waveform、transcribe、listen）让 AI 真正学会"看片听片"：读元数据、抽帧、生成胶片条、看波形、转写字幕、听懂内容。本文带你用最快上手的方式掌握这套 AI 视频分析工具，无需打开任何专业软件。

快速上手：AI 的"眼睛"和"耳朵"

想象一下：你把一堆原始素材丢进文件夹，对 Agent 说"把这段访谈剪成 30 秒精华"。AI 要剪得准，前提是看得懂画面、听得懂声音——这正是 Diffusion Studio 媒体分析工具的设计初衷。

这些工具同时以两种方式提供：MCP 服务（Agent 直连）和命令行dapi（脚本、CI 都能用），两者返回完全一致的 JSON 结果。完整的工具清单见 docs/reference/tools/README.md。

下面 6 个工具，前 4 个是本地分析（不消耗额度），后 2 个中transcribe免费而listen需要登录账号。

工具一：media_probe —— 3 秒读懂文件"体检报告"

拿到一个视频文件，第一步不是看内容，而是先问：它是什么格式、多长、什么编码？

dapi media probe <path>就像给文件做一次快速体检：返回容器格式、时长、标签，以及每条轨道的编解码器参数，且不实际解码，速度极快。剪之前确认编码兼容性、核对时长，就用它。

命令示例：dapi media probe clip.mp4

细节可参考 docs/reference/tools/media/probe.md。

工具二：media_grab —— 按时间点抽帧，逐格"看懂"视频

想让 AI 精确理解某一瞬间的画面？用dapi media grab。它支持三种取帧方式：

• 指定时间点（-t 0 12 45）：精确到帧，负数还能从片尾倒着数
• 均匀采样（-c 8）：全片等距抽 N 帧
• 智能去重（-a）：自动跳过重复画面，只保留"新镜头"

抽出的帧会自动拼成带时间码标签的拼图（最多 12 格一张图），AI 一眼就能看懂整段节奏。超过 12 帧时建议改用下文的 filmstrip。详见 docs/reference/tools/media/grab.md。

工具三：media_filmstrip —— 一张图纵览整条时间线

如果说 grab 是"显微镜"，filmstrip 就是"全景地图"：它把整段视频按等间隔采样成缩略图网格，每行带HH:MM:SS:FF时间刻度尺，本地渲染、零额度消耗。

找转场位置、判断哪里该剪、给长视频建立全局认知——收窄时间窗口（-s/-e）还能"放大"感兴趣的区段。文档见 docs/reference/tools/media/filmstrip.md。

工具四：media_waveform —— 让 AI"看见"声音

音频没有画面，怎么分析？dapi media waveform把整条音轨渲染成一张波形图：响度随时间变化一目了然，静音段直接用红色标出，并且把每段静音的起止秒数一并返回。

剪辑访谈时找"停顿点"、判断背景音乐从何时开始——这张图就是答案。详见 docs/reference/tools/media/waveform.md。

工具五：media_transcribe —— 逐词带时间戳的字幕转写

对着镜头说话的内容（talking head、访谈），最需要的就是文字。dapi media transcribe会输出词级时间戳的 JSON 字幕文件——每个字开始和结束在第几秒都写得很清楚。

有了词级时间，AI 就能精确地"按一句话剪一刀"，还不会切到半句话上。转写结果按文件内容缓存，重复调用秒回。文档见 docs/reference/tools/media/transcribe.md。

工具六：media_listen —— 直接问 AI"你听到了什么"

这是 6 个工具中最"聪明"的一个：它把多模态模型放到音轨面前，用自然语言提问。比如：

• "这段背景音乐叫什么名字？"
• "谁在说话？请给出时间戳"
• "用三句话总结这段音频说了什么"

不写 prompt 时它会返回通用描述；写好 prompt 后答案会精准得多。项目里还专门提供了一份提问技巧指南：docs/guides/prompts/media-listen.md。注意它需要登录账号并消耗额度。详见 docs/reference/tools/media/listen.md。

如何选择：一张表看懂 6 大工具分工

典型的分析组合拳：probe 体检 → filmstrip 扫全局 → grab 放大细节 → waveform 找停顿 → transcribe 拿字幕 → listen 做总结。

快速开始：3 步让 AI 分析你的素材

1. 下载并打开 Diffusion Studio 桌面应用（它会自动向你的 Agent 注册 MCP 服务）
2. 把素材放进项目文件夹，运行dapi open <目录>
3. 直接对 Agent 说："看看这段视频在讲什么"——它会自主调用上面这套工具完成分析

所有工具的实现与协议定义都在 packages/dapi/ 中，欢迎深入源码。从"AI 只能听你说"到"AI 自己看片听片"，Diffusion Studio 的 6 大媒体分析工具，就是那条最短的路径 🎬

【免费下载链接】editorAn open-source video editor built for agents. Edits become code, code becomes video.项目地址: https://gitcode.com/gh_mirrors/editor94/editor