☰
Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic ...
2026/10/15 3:11:37 网站建设 项目流程

文章主要内容总结

本文聚焦大语言模型(LLMs)中的地理空间知识幻觉问题(即生成不准确或不一致的地理空间信息),系统性地开展了评估与 mitigation 研究。主要内容包括:

  1. 问题提出:LLMs虽已应用于移动预测、社会指标预测等地理空间任务,但存在地理空间知识幻觉,影响可靠性,而现有研究对其系统性评估和缓解不足。
  2. 评估框架:构建了结构化地理空间知识图谱SpatialKG,基于此设计了评估基准GEOHALUBENCH,包含3个一级类别、5个二级类别的地理空间幻觉分类(如实体捏造、关系遗漏、属性混淆等),并评估了20个先进LLMs,发现多数模型(尤其是开源模型)存在显著幻觉。
  3. 缓解方法:提出DynamicKTO方法,基于Kahneman-Tversky优化(KTO),通过动态调整超参数β(针对实体、关系、属性分别设为0.1、0.3、0.5),实现地理空间知识的动态事实对齐,在GEOHALUBENCH上性能提升超29.6%。
  4. 实验验证:验证了GEOHALUBENCH的鲁棒性和DynamicKTO的有效性,小型开源模型(如Llama3.1-8B)经优化后性能接近顶尖模型。

创新点

  1. 首次系统性研究:首次对LLMs的地理空间知识幻觉进行系统性评估和缓解。
  2. 构建专用基准:开发GEOHALUBENC

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询