☰
CEA-LIST at CheckThat! 2025: Evaluating LLMs as Detectors of Bias and Opinion in Text
2026/10/14 2:55:39 网站建设 项目流程

文章主要内容总结

本文是CEA-LIST团队参与2025年CLEF CheckThat!实验室任务1(主观性检测)的研究成果,核心探索了大型语言模型(LLMs)在多语言主观性检测中的应用。研究通过少样本提示(few-shot prompting)技术,对比LLMs与微调小型语言模型(SLMs)的性能,发现经精心设计的提示可使LLMs在多语言场景中媲美甚至超越SLMs,尤其在数据嘈杂或标注不一致的情况下表现更优。

研究测试了多种策略:提示工程(如基础提示与详细提示的对比)、少样本学习(不同示例数量与选择策略)、多代理LLM推理(如辩论式提示),结果显示标准少样本提示效果最佳,复杂策略(如基于语义相似度的示例选择、多代理辩论)未带来显著增益。最终,该方法在CheckThat! 2025竞赛中表现优异,在阿拉伯语、波兰语中获第一,在意大利语、英语、德语等多语言赛道中进入前四,尤其在标注不一致的阿拉伯语数据集上展现出强鲁棒性,验证了LLMs在少样本学习中应对数据质量问题的优势。

创新点

  1. 验证LLMs在少样本场景的优越性:首次系统证明,经合理提示的LLMs在多语言主观性检测中可媲美甚至超越传统微调SLMs,尤其适用于标注数据稀缺或不一致的场景。
  2. 策略对比的新发现:通过对比提示工程、少样本示例选择(随机/相似/ dissimilar)、多代理辩论等策略,发现复杂策略增益有限,而精心设计的标准少样本提示即可达到最优性能,为LLM应用提供了简洁高效的路径。
  3. 鲁棒性验证:揭示LLMs对标注噪声的强耐受性

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询