T5统一的文本到文本框架复现：多任务预训练的迁移效果验证
2026/7/18 22:01:30
note
文章目录
- note
- 一、Audio encoder相关Benchmark
一、Audio encoder相关Benchmark
| Benchmark | 评估什么 | 适合你们用来判断什么 |
|---|---|---|
| HEAR Benchmark | 通用音频表征，覆盖 speech、environmental sound、music 等多个领域 | 判断一个 audio embedding 是否泛化好 |
| AudioSet | 大规模音频事件分类，常用 mAP | 判断模型对环境声、音乐、事件声的理解能力 |
| ESC-50 | 环境声音分类 | 判断对常见环境声是否强 |
| MAEB | 新的大规模音频 embedding benchmark，覆盖 speech、music、environmental sound、audio-text reasoning、多语言 | 更系统地比较音频 embedding 模型 |
| DCASE Audio Retrieval / Audio Captioning tasks | 音频-文本检索/音频语义理解 | 判断 CLAP 这类 audio-text 模型是否适合语义检索 |
HEAR 的目标就是评估“什么 audio embedding 能泛化到多种下游音频任务”，覆盖 speech、environmental sound、music，并且是 NeurIPS 2021 shared challenge 发展出来的 benchmark。
MAEB 是 2026 年提出的 Massive Audio Embedding Benchmark，覆盖 30 个任务、speech/music/environmental sound/audio-text reasoning、100+ 语言，并评估 50+ 模型；它还指出没有单一模型在所有任务上都最强，audio-text 对比模型擅长环境声分类，但在多语言语音任务上可能很弱。
链接：https://huggingface.co/blog/AdnanElAssadi/maeb
leaderboard：https://mteb-leaderboard.hf.space/?benchmark_name=MAEB%28beta%29