提示词精简与事实性表征方法 解决什么幻觉问题,又会存在什么问题
2026/6/30 0:25:06
网站建设
项目流程
提示词精简 & 事实性表征:对应的幻觉问题
![]()
![]()
![]()
目录
- 提示词精简 & 事实性表征:对应的幻觉问题
- 一、提示词精简(Prompt Compression)相关的幻觉
- 1.1 什么是提示词精简
- 1.2 引发的幻觉问题(核心痛点)
- 幻觉问题 A:**关键事实丢失型幻觉(Information Loss Hallucination)**
- 幻觉问题 B:**Few-shot 示例破坏型幻觉**
- 幻觉问题 C:**指令弱化型幻觉**
- 幻觉问题 D:**位置敏感丢失型幻觉(Position-sensitive Loss)**
- 幻觉问题 E:**RAG 检索证据失真**
- 幻觉问题 F:**Soft-prompt 压缩的"黑箱幻觉"**
- 幻觉问题 G:**多跳推理链断裂**
- 1.3 学术界已知的实证结论
- 1.4 研究创新方向(值得做)
- 二、事实性表征(Factual Representation)相关的幻觉
- 2.1 什么是"事实性表征"
- 2.2 引发的幻觉问题
- 幻觉问题 A:**Superposition 引发的事实混淆**
- 幻觉问题 B:**Reversal Curse(反转诅咒)** ⭐ 著名问题
- 幻觉问题 C:**长尾事实表征坍缩**
- 幻觉问题 D:**知识冲突(Knowledge Conflict)**
- 幻觉问题 E:**知识编辑的连锁效应(Ripple Effects)**
- 幻觉问题 F:**事实定位的不可靠性**
- 幻觉问题 G:**表征空间的"几何幻觉"**
- 幻觉问题 H:**多语言事实表征不对齐**
- 幻觉问题 I:**时序性事实表征僵化**
- 幻觉问题 J:**事实-推理表征解耦失败**
- 2.3 评估事实性表征幻觉的方法
- 2.4 研究创新方向(这是真正前沿的方向)
- 三、两者的**交叉**幻觉问题(最值得研究的盲区)
- 交叉问题 1:**压缩对事实表征的扰动**
- 交叉问题 2:**事实密度感知压缩**
- 交叉问题 3:**反转诅咒下的压缩放大效应**
- 交叉问题 4:**长上下文压缩的事实保留率**
- 交叉问题 5:**压缩感知的事实校验**
- 四、结合你的工单场景(落地视角)
- 落地点 1:**Entity-preserving Prompt Compression**
- 落地点 2:**黑盒事实探测层**
- 落地点 3:**事实一致性评测**
- 落地点 4:**500 术语词典的"表征探测"应用**
- 五、推荐文献清单(按重要性)
- 六、一句话总结
一、提示词精简(Prompt Compression)相关的幻觉
1.1 什么是提示词精简
为了降低 token 成本、突破上下文窗口、降低延迟,把长 prompt(含 RAG 检索结果、few-shot 示例、长指令、长对话历史)压缩成更短的版本再喂给 LLM。
主流技术:
| 方法 | 代表工作 | 思路 |
|---|
| Token-level Pruning | LLMLingua (Microsoft, 2023) | 用小模型算 token 重要度,丢低分 token |
| LongLLMLingua | Microsoft, 2024 | 针对长上下文,按 query 相关性压缩 |
| LLMLingua-2 | Microsoft, 2024 | 数据蒸馏训练专门压缩器 |
| Selective Conte |