导语:在人机交互研究领域,当不同实验室用同样的方法做同一个实验,却得出不同结果时,这通常被视为“复制失败”,是研究不够严谨的证据。但一篇发表在《Science Robotics》上的观点文章提出了一个颠覆性的主张:在人机交互领域,追求完全一致的研究结果,恰恰掩盖了最有价值的信息。因为人类行为本就因文化、环境、情绪千差万别,而真正能推动这门科学前进的,不是抹平这些差异,而是从差异中学习。
一、方法的复制 ≠ 结果的复制
我们首先需要厘清两个常被混淆的概念。
可重复性:用同样的数据、同样的分析方法,能否得到同样的结果?这检验的是数据分析的透明度和规范性。
可复制性:用新的参与者、重新跑一遍同样的实验程序,能否得到同样的结果?这检验的是研究结论的稳定性和普适性。
在人机交互领域,结果在不同条件下的差异是常态而非例外。这篇观点文章的作者、本-古里安大学的Shelly Levy-Tzedek教授指出,在人机交互中,由于该领域对情境和人为因素的敏感性,结果的完全复制往往不太可能。她提出,方法论的透明度是必须坚守的底线,但结果的差异性不应该是被消除的噪音——它本身就是数据。
二、机器与人的根本差异:情境敏感性
为什么人机交互研究的结果不容易稳定复现?这篇文章给出了一个系统性的解释。人机交互的结果受多种因素共同影响:文化规范、用户先前接触技术的经验、互动设置的细微差异、参与者的人口统计特征、个人历史、健康状况乃至人格特质,当然还包括机器人本身的设计。
这些变量中的任何一个发生变化,都可能影响人机交互的结果。心理学家早已发现,被认为更依赖情境的研究,其可复制性本身就较低。人机交互研究恰好是高度情境依赖的——它研究的不是“机器人能做到什么”,而是“人在特定情境下如何与机器人互动”。后者远比前者复杂多变。
既然这样,为什么还要求不同实验室、不同人群、不同文化背景下的实验结果必须一致?
三、将差异性视为数据
这篇文章的核心主张是:在人机交互中,结果的差异性是一种被严重低估的信息源。
作者举了几个其他学科的例子来说明这个道理。生态学家比较不同物种对相似环境条件的反应,从中理解适应机制的普遍性与特殊性;心理学家研究经典实验范式如何在不同文化中产生不同结果,借此揭示文化对认知的塑造作用。
人机交互领域同样需要这样的比较视角。当方法被忠实复制,但结果出现差异时,这些差异恰恰揭示了研究结论在哪些条件下成立、在哪些条件下失效。一篇康复机器人研究发现,老年用户和年轻用户对同一机器人的信任建立过程完全不同——这不是研究的“瑕疵”,而是关于信任机制的关键信息。如果我们只报告“平均效应”,这些差异就会被抹平,最终得出一个“对所有人群都一样”的虚假结论。
作者特别指出,并非所有差异都有意义。部分变异可能来自方法学伪影或统计噪声。研究者需要仔细审视差异的来源,判断其是真实的情境效应,还是程序上的瑕疵。这正是她反复强调“方法透明度”的根本原因:只有方法清楚且被忠实地执行,我们才能有信心将结果差异归因于情境,而非程序错误。
四、工具与责任
为了让这一理念落地,作者提出了一系列方法论工具和相应的责任分配。
在工具层面,她建议使用情境分析来系统记录可能影响结果的关键因素(文化环境、任务细节等),使用荟萃分析将跨研究的结果进行整合以识别模式,使用混合方法将定量和定性数据结合——不仅知道效应有多大,还知道为什么。此外,纵向研究可以记录人们熟悉机器人后结果如何变化,而负面结果报告——将那些没有发现显著差异的复制尝试公开——则可以避免发表偏倚导致的“成功故事垄断”。
作者特别强调,发表负面结果的责任不仅在于研究者,也在于审稿人和编辑:应当基于方法严谨性而非“结果是否显著”来评估论文,否则社区将永远无法从那些“没有做出来”的实验中学习。
对于样本量这个常被用来质疑可复制性的问题,作者提出了一个值得深思的观点。人机交互研究经常面临样本量小的现实——尤其是在长期研究或难以接触到的人群研究中。但这本身不一定是弱点。一项有10位参与者、每位在数周或数月内提供丰富重复数据的研究,可能比一项有1000位参与者、每人只贡献一个数据点的研究更有信息量。后者的大样本平均可能会掩盖有意义的个体差异,产生误导性的“平均伪影”。
五、HRI研究的未来
文章最后,作者将人机交互研究置于一个十字路口,给出了两条路径。
路径一:继续追逐精确可复制性的幽灵,将相同结果作为唯一目标,即便这会掩盖塑造人机互动的那些真实情境因素。
路径二:正视情境复杂性,将可复制性从“目的”重新定位为“手段”——利用复制研究来揭示结论在不同情境中的适用范围,从而更准确地理解人类与机器人的实际互动方式。
作者选择了第二条路。“我们通过解释研究间的差异,而非消除差异,来推动人机交互科学的进步。”
这篇观点文章的深刻之处在于,它不只是在讨论方法论——它提出了一个学科定位的根本问题:人机交互究竟是一门纯粹的技术性学科,还是一门理解人类行为的社会技术科学?如果答案是后者,那么对“完美复制”的迷恋就需要让位于对差异性的系统性探究。
这意味着,当我们下次看到一项人机交互研究无法在另一个国家、另一个群体中复现时,我们不应该急于下结论说“这是失败的复制”。我们应该追问:这两群人有什么不同?这两地存在什么样的文化差异?机器人在这里为什么被以不同的方式对待?这些追问本身,正是理解人机关系本质的钥匙。
论文信息
- 标题
: Stop chasing the same results in HRI replication: Learn from the differences
- 作者
:Shelly Levy-Tzedek,本-古里安大学健康科学与技术学院
- 期刊
:Science Robotics,2026年6月17日,第11卷第115期
- DOI
:10.1126/scirobotics.aec6663