Mitigating Geospatial Knowledge Hallucination in Large Language Models: Benchmarking and Dynamic ...
2026/10/15 3:11:37
网站建设
项目流程
文章主要内容总结
本文聚焦大语言模型(LLMs)中的地理空间知识幻觉问题(即生成不准确或不一致的地理空间信息),系统性地开展了评估与 mitigation 研究。主要内容包括:
- 问题提出:LLMs虽已应用于移动预测、社会指标预测等地理空间任务,但存在地理空间知识幻觉,影响可靠性,而现有研究对其系统性评估和缓解不足。
- 评估框架:构建了结构化地理空间知识图谱SpatialKG,基于此设计了评估基准GEOHALUBENCH,包含3个一级类别、5个二级类别的地理空间幻觉分类(如实体捏造、关系遗漏、属性混淆等),并评估了20个先进LLMs,发现多数模型(尤其是开源模型)存在显著幻觉。
- 缓解方法:提出DynamicKTO方法,基于Kahneman-Tversky优化(KTO),通过动态调整超参数β(针对实体、关系、属性分别设为0.1、0.3、0.5),实现地理空间知识的动态事实对齐,在GEOHALUBENCH上性能提升超29.6%。
- 实验验证:验证了GEOHALUBENCH的鲁棒性和DynamicKTO的有效性,小型开源模型(如Llama3.1-8B)经优化后性能接近顶尖模型。
创新点
- 首次系统性研究:首次对LLMs的地理空间知识幻觉进行系统性评估和缓解。
- 构建专用基准:开发GEOHALUBENC