企业官网建设流程全解析

• 数据集
• AI 评测
• 计算机视觉
• 多模态
• 人工智能

HSS（Humanity's Sixth Sense）是 Scale AI 推出的直觉视觉推理基准，其中 234 道视频任务均标注了evidence证据窗口——记录"答案证据出现在视频的哪几秒"。这个字段能让你快速诊断：模型到底看了多少视频才答对、哪些题目卡住了它。本文带你完整拆解这套设计。

先认识 HSS：测的是「一眼看穿」的推理能力

HSS 专门考察人眼扫一眼图片或短视频就能直觉推断、但模型常常栽跟头的隐性结构：时间因果、空间关系、社交情境、抽象模式。

也就是说，人几乎一眼就能答对的题，最强模型也错了一半多。题目由训练有素的标注员编写，3466 道候选题经过三轮独立评审全票通过，仅 522 道（15.1%）存活，质量门槛极高。

什么是 evidence 证据窗口？

翻开 data/test.jsonl，每道任务都有 4 个相关字段：

图片任务的这 4 个字段全部为null；234 道视频任务 100% 都有证据窗口。

⚠️ 关键规则（README.md 原文强调）：模型评分时看的是完整视频，证据窗口只是分析用元数据，不属于输入。它的用途是做「模型到底看了多少视频」这类归因分析。

234 道视频任务：证据窗口全景分布

我们对全部 234 道视频任务做了统计，结果非常有趣：

证据起始时间分布

其他关键统计：

• 📊 证据窗口结束时间的中位数仅 31 秒——一半题目在视频前 31 秒内就有答案
• ⚡ 56 道（24%）的证据窗口短到5 秒以内
• 🐢 但也有 33 道题需要超过 30 秒的长片段才能推理，最极端的窗口长达 511 秒
• 📈 视频任务集中在：Social Understanding（82 题）、Physical & Spatial Logic（62 题）、Temporal & Causal Dynamics（53 题）、Abstract & Contextual Inference（37 题）

结论：HSS 的视频任务两极分化明显。四成多题目"答案在开头"，考的是细节捕捉；少数长窗口题目则逼着模型跨分钟级时间跨度做因果推理。

3 个典型案例：从 2 秒到 19 分钟

案例 1：只给 3 秒的快问快答

任务6a89e4598df6268d281ac27f（Mechanistic Causality）：

戴眼镜、红衬衫、蓝色背包带的男孩为什么向前扑去挥拍？

证据窗口0:00 → 0:03。参考答案：对方传球时意外发力过猛，球飞向人群，他扑过去接球。3 秒内必须看清「传球—失误—扑接」完整因果链，任何抽帧策略都够用，考的是纯推理速度。

案例 2：藏在 53 秒处的 3 秒镜头

任务6a7f82ad5cfeb63114fa869b（Theory of Mind）：

另一名女人是否对讨论表现出兴趣？为什么？

证据窗口0:53 → 0:56。判断依据是女人「转头看向两人并露出专注神情」——一个仅 3 秒的微表情镜头。这类任务最能暴露问题：如果模型对长视频做了激进的均匀抽帧，这 3 秒很可能被整个跳过。

案例 3：必须看完全片的"守门员题"

任务6a9e06476699ef3aefe34221（Theory of Mind）：

服务员回来找左边顾客找零时，他认为自己脚底下踩着什么？

证据窗口18:53 → 19:15，也就是约 19 分钟视频的最后 22 秒。答案只能从视频收尾处获得，前 18 分钟全是铺垫。

如何用证据窗口诊断你的模型？

证据窗口最实用的玩法是把"全对"与"全错"的任务按窗口位置分组，定位模型失效模式：

1. 诊断「开头盲区」：若模型在前 31 秒有证据的任务上正确率显著偏低，说明它对视频开头的细节（如0:00→0:03的接球瞬间）捕捉不足
2. 诊断「长程遗忘」：若证据出现在 1 分钟之后的任务正确率断崖式下跌，说明模型在长视频后段丢失了信息——对比案例 3，它要求记住开头场景后回到结尾做关联
3. 诊断「抽帧粒度」：56 道窗口 ≤5 秒的题目是天然的"帧率压力测试"，正确率偏低往往意味着抽帧间隔过粗
4. 建立成本预算：证据结束时间中位数 31 秒意味着，对一半题目而言，理论上只需处理视频前 31 秒即可作答——这为"先粗看后精看"的分阶段推理策略提供了量化依据

配合 HSS 的评分方式（LLM judge 逐条核对 rubric criteria，全部标准满足才算答对），证据窗口能让你把"模型错了"进一步归因到"它没看到"还是"看到了但没推理对"。

快速上手：加载数据与核对字段

用 Hugging Facedatasets库加载后，直接读取 4 个证据字段即可：

from datasets import load_dataset ds = load_dataset("ScaleAI/HSS", split="test") task = ds.filter(lambda x: x["media_type"] == "video")[0] print(task["evidence_start"], task["evidence_end"]) # 如 "0:53" "0:56" print(task["evidence_start_sec"], task["evidence_end_sec"])

媒体文件（视频、图片）存放在 media/videos/ 与 media/images/ 目录，文件名为task_id加扩展名，与 data/test.jsonl 中的media_path一一对应。字段定义、评分规则与更新日志的完整说明见 README.md。

总结

• HSS 的 234 道视频任务全部带有evidence证据窗口，是该基准独有的"可诊断性"设计
• 40% 的证据出现在前 5 秒，中位数结束时间为 31 秒——大部分视频题本质上是"短窗口快推理"
• 少数 1–5 分钟甚至 10+ 分钟的长窗口任务，则专门考验长程时间建模与跨段关联
• 把模型正确率按证据窗口位置切片，能直接回答"模型看了多少视频才答对"这个关键问题，指导抽帧策略与推理预算的优化

• 数据集
• AI 评测
• 计算机视觉
• 多模态
• 人工智能