企业官网建设流程全解析

01

动机

知识图谱基座模型（KGFMs）通过学习可迁移的结构模式，在对未见图谱进行零样本推理方面展现出了巨大潜力（Galkin 等人，2024a）。然而，现有的 KGFM 大多仅依赖于图的拓扑结构，往往忽略了关系标识符（Relation Identifiers）中蕴含的丰富文本语义信号（Arun 等人，2025）。这种局限性在极具挑战性的泛化场景中尤为致命：当测试阶段遇到训练集中从未出现的全新关系词汇时，纯结构化方法因缺乏对应的结构模式而发生“塌陷”（Collapse）。尽管大语言模型（LLMs）具备强大的文本理解与泛化能力，但现有研究鲜有将其有效地整合进 KGFM 的归纳推理框架中。鉴于此，本文提出了一种双模块基座模型 SEMMA，通过利用 LLM 对关系文本进行语义增强并构建“文本关系图”，将可迁移的文本语义与图结构特征进行系统性融合，从而在结构信号稀疏或完全未见的场景下实现鲁棒的链接预测。

02

贡献

本文的主要贡献包括：

（1）提出一个新的框架SEMMA，这是一种结合了图结构与文本语义的双模块知识图谱基座模型（KGFM）。该模型利用大语言模型（LLM）对关系标识符进行语义增强，构建了“文本关系图（Textual Relation Graph）”，并将其与结构化关系图进行系统性融合，从而在零样本（Zero-shot）场景下有效利用了被传统方法忽视的丰富文本语义信号。

（2）实验结果表明，SEMMA 在全归纳（Fully Inductive）链接预测任务上具有显著优势。在涵盖 54 个不同领域知识图谱的广泛实验中，SEMMA 的表现优于目前最先进的纯结构化基线模型（如 ULTRA），证明了将文本语义引入基座模型的有效性。

（3）提出证据证明，文本语义对于处理完全未见的关系词汇至关重要。在一种更具挑战性的泛化设置实验中（即测试时的关系词汇与训练集完全不重复），纯结构化方法会发生性能“塌陷”，而 SEMMA 凭借其语义感知能力，在此类场景下的有效性比结构化方法提高了2倍。

（4）识别并缓解了现有基准中的数据泄露问题。论文深入分析了现有KGFM 评估基准中存在的训练集-测试集信息泄露现象，并在剔除泄露数据后的“纯净”数据集上进行了严格评估，进一步证实了 SEMMA 在真实零样本场景下具备稳健的泛化能力。

03

方法

图1 SEMMA 的核心架构

SEMMA 的核心架构采用了双模块并行设计，旨在同时利用知识图谱中的结构模式和文本语义。如图1 所示，模型主要由三个部分组成：

• 基于LLM 的文本语义处理模块（图下半部分蓝色区域）；

• 系结构化处理模块（图上半部分红色区域）；

• 融合与预测模块（图右半部分紫色区域）。

文本语义处理模块 (Textual Semantic Processing)

与传统的仅依赖结构嵌入的方法不同，SEMMA 首先利用大语言模型（LLM）的通用知识来增强关系标识符的语义表达。模型使用零样本提示（Zero-shot Prompting）将原始的、可能晦涩的关系 ID 转换为清晰的自然语言名称，并生成捕捉核心语义的简短描述 。随后，这些文本描述被编码为向量嵌入，并依据嵌入之间的余弦相似度构建一个加权的“文本关系图”。在该图中，语义相似的关系通过加权边相连，模型利用支持加权消息传递的 NBFNet 在此图上进行推理，从而生成富含语义感知的关系表示。

结构化处理模块 (Structure Processing)

为了保持对图拓扑特征的强大捕捉能力，SEMMA 并行运行一个结构化处理流（如图 2 上方红色区域所示）。该模块沿用了 ULTRA 的设计理念，将原始知识图谱提升为一个“结构关系图”。在这个元图中，节点代表关系，边则捕获了关系之间原本存在的拓扑交互模式（如头对头、尾对尾连接等），而不依赖具体的实体或关系词汇 。通过在此结构图上应用 NBFNet，模型能够学习到可迁移的结构推理模式，确保在缺乏语义信息或语义模糊的场景下仍能进行有效的逻辑推理。

融合与预测模块 (Fusion and Prediction)

最终阶段的目标是将上述两条路径的互补信号进行整合。来自文本关系图的语义表示和来自结构关系图的结构表示，通过一个多层感知机（MLP）进行投影和融合，以合并语义细微差别与拓扑特征 。融合后的关系表示随后被注入到实体级的 NBFNet 中，用于在原始图谱上执行最终的消息传递和链接预测任务 。如图 2 右侧所示，这种模块化融合机制使得 SEMMA 能够在完全归纳（Fully Inductive）的设置下，利用文本语义“桥接”未见过的关系，从而解决纯结构化模型在冷启动场景下的“塌陷”问题。

04

实验

实验设置与数据集：

为了验证 SEMMA 的泛化能力，研究团队采用了与 ULTRA 相同的严格评估设置。模型仅在 3 个知识图谱上进行预训练，随后在54 个多样化的知识图谱上进行零样本（Zero-shot）推理测试 。这些测试集涵盖了三种不同的泛化难度：

• 直推式 (Transductive)：实体和关系在训练中均已见。

• 半归纳式 (Inductive e)：仅实体未见，关系已知。

• 全归纳式 (Inductive e,r)：实体和关系在训练中均未见，这是最具挑战性的场景，也是基座模型的核心目标。

实验结果：

表1：SEMMA 的零样本结果。零样本链路预测 MRR 和 Hits@10 的平均值超过 54 KGs（基于 5 次运行）。SEMMA 的性能显著优于 ULTRA，而 SEMMA HYBRID 则进一步扩大了这种差距。

如表一所示，SEMMA 在所有三个类别上的平均性能均优于纯结构化基线模型 ULTRA。特别是在全归纳设置下，SEMMA 利用文本语义成功弥补了结构信息的缺失。

此外，论文还设计了一个更贴近现实“冷启动”场景的实验：确保测试查询（Query）中出现的关系词汇与测试图（Test Graph）中现有的关系完全不重叠（Disjoint）。在此设置下，由于缺乏历史结构交互，ULTRA 等纯结构化方法无法区分不同的新关系，导致预测结果“塌陷”（即对不同关系预测出相同结果，如 图2 所示），而SEMMA 凭借对关系标识符的语义理解，能够准确区分不同的未见关系。

图2：在查询三元组关系词汇表与测试图关系词汇表不相交的复杂场景下，对ULTRA 和 SEMMA 进行了比较。ULTRA 无法区分不同的关系（例如 agent collaborates with agent 和 competitions with），导致预测结果完全相同且错误。相比之下，SEMMA 能够区分这两种关系，并在其前 10 个预测结果中正确预测了真实值。

研究团队还发现现有的 KGFM 基准中存在严重的数据泄露问题，即测试集的图谱结构或三元组在预训练数据中出现过（如图3和图4）。研究团队在剔除泄露数据后的 22 个“纯净”数据集上，进一步测试了SEMMA的性能，结果表明，其依然保持了对 ULTRA 的性能优势，证明了SEMMA真实的泛化能力(见表2)。

图3：测试图泄漏。在预训练语料库中找到的测试图三元组的百分比，表明跨数据集的间接泄漏

图4：查询三元组泄露率。在预训练语料库中找到的查询三元组所占百分比，表明存在跨数据集的直接泄露

表2：SEMMA 在未泄露数据集上的零样本测试结果。零样本链接预测 MRR 和 Hits@10 报告显示，在移除泄露数据集后，5 次运行的平均结果超过 22 个 KG。SEMMA 的性能仍然优于 ULTRA。

05

总结

本文针对知识图谱基座模型在处理未见关系时的“冷启动”难题，提出了一种名为 SEMMA 的创新框架。传统方法（如 ULTRA）过度依赖图拓扑结构，在缺乏历史交互时容易失效，而 SEMMA 的核心突破在于系统性引入语义维度。该模型利用大语言模型将关系标识符转化为富含语义的向量，构建了与结构图并行的“文本关系图”，从而通过“语义桥梁”在零样本场景下实现对新关系的有效理解与推理；实验部分不仅在54 个标准数据集上验证了 SEMMA 的优越性，更通过设计“完全不相交词汇”的极端测试场景，揭示了纯结构化方法的本质缺陷。在这些高难度场景下，SEMMA 展现出了惊人的鲁棒性。此外，论文还批判性地指出了当前学术界基准数据集中普遍存在的数据泄露问题，呼吁建立更严谨的评估标准。

总而言之，SEMMA 成功证明了“文本语义”与“图结构”并非互斥，而是可以相互利用融合的。未来的工作可以进一步探索如何将这一机制扩展至实体层面的语义理解，以及如何融合更多模态的信息，为构建真正的全能型知识基座模型奠定基础。

笔记整理：卢宇晨，东南大学硕士，研究方向为基于大语言模型的信息检索增强任务

论文链接：https://arxiv.org/abs/2505.20422

发表会议：EMNLP 2025

往期推荐

RECOMMEND

1

静态评测已“过时”？OpenKG持续更新LLM知识增强动态评测榜单Dynamic OneEval-202605

2

论文浅尝 | 利用多智能体大语言模型实现知识图谱自动化增补（NeurIPS 2025）

3

技术动态 | 从“黑盒”到“透明”：大模型如何学会人类的逻辑规则？天津大学张小旺教授团队长文综述规则学习30年演进

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。