企业官网建设流程全解析

今天讲述一篇名为《Large for Graph》的文章, 此文章的主题是, 基于大模型去做知识图谱补全。

1.文章主要思想：

此章节对知识图谱补全里的三项任务予以描述, 这三项任务分别是三元组分类、关系预测以及实体（链接）预测, 并且阐述了怎样把它们转化成简易的提示问题, 从而能够让语言模型完成任务。

针对三元组进行分类这项工作, 给定由首元、关系以及次元构建而成的三元组, 其任务是要把该三元组判定为正确或者判定为不正确, 举例来说, 给出这样一个三元组, 它的首元是史蒂夫·乔布斯, 关系表述为成立, 次元是苹果公司, 这项任务即为把它判定为正确的, 那答案将会是这样一个问句, 它是询问这是真的吗, 内容是史蒂夫·乔布斯创立了苹果公司, 语言模型的理想输出会是对应肯定回答, 即Yes, this is true。

要进行关系预测, 给出一个头实体, 再给出一个尾实体, 而任务是对它们之间的关系做出预测, 比如给出一个头。

那部实体“Steve Jobs”以及尾部实体“Apple Inc.”、要预测它们的关系是“建立了的”, 提示形态呈“史蒂夫·乔布斯和苹果公司彼此究为何种关系呢”, 需从这么些选项去选用:在出生；创立做；身为；一国家的公民为何是这样；任职。人们所期望给出的回应呢是“史蒂夫·乔布斯对苹果公司的关系是创立了该公司”。

针对实体（链接）去做预测, 给定头部实体以及关系, 其任务在于预测和头部实体相关联的尾部实体, 给定尾部实体以及关系, 其任务在于预测头部实体, 比如说给出头部实体“Steve Jobs”以及关系“”, 其任务是预测尾部实体“Apple Inc.”, 要是询问尾部实体, 提示的形式是“史蒂夫·乔布斯创立了”, 要是询问头部实体, 提示的形式是“什么/谁/何时/何地/为什么创立了苹果公司?”, 理想的回答是“史蒂夫·乔布斯创立了苹果公司。”。针对”部实体“Steve Jobs”以及尾部实体“Apple Inc.”, 任务在于预测它们二者的关系乃是“建立的”, 提示的形式为“什么/谁/何时/何地/为什么创立了苹果公司?”, 理想的回答是“史蒂夫·乔布斯创立了苹果公司。”。

2 本文方法

采用模型：KG--6B和KG-LLaMA (7B和13B)

1. p- v2微调-6B

2. 用LoRA微调LLaMA-7B和13B

3 实验设置

4 实验结果

5. 代码实战

对于图表来说, /kg - llm, 是大的。

pip install -r requirements_chatglm.txt

1.DATA

(1) 我们所使用的那四个英文字母缩写, 以及另外的那些, 都在“./数据”这个地方。

(2) 针对大语言模型的输入文件, 同样处于 ./data 中的每一处, 将 lama.json 和 lm.json 视作此类文件。

(3) 属于我们的那些文件, 同样在./data的每一个当中, 去查看像 -6B那样的.csv和s.txt文件作为参考。

2. LLaMA fine- and

把LLaMA模型文件放置在 /LLaMA - HF/ 之下, 并且使 - 6b模型文件处于 / - 6b/ 之中。

这句话似乎存在一些错误, 不太完整清晰。请你检查并补充完整准确的内容, 以便我能按照要求进行有效改写。

python lora_finetune_wn11.py

python lora_finetune_yago_rel.py

python lora_infer_wn11.py

python lora_infer_yago_rel.py

3. fine- and

.py, 往data/YAGO3 - 10/.json, 还有data/YAGO3 - 10/m_rel.json, 然后到/-6b, 再到/yago - rel--6b, 接着是230, 再后面是20, 跟着是1, 再接着是1, 随后是16, 之后是e, 然后是80000, 跟着是300, 再接着是10000, 随后是1e - 2, 跟着是8, 最后是4。

把.py 使用, 将其与 data/YAGO3 - 10/m_rel.json 关联, data/YAGO3 - 10/m_rel.json 再次关联并使其相关, 还有 /yago-rel--6b/-10000 中的内容关联, 以及 /data/YAGO3 - 10/ 中的内容关联, 同时设置 230 这个数值, 20 这个数值, 1 按照 --e 的规则关联, 8 按照规则与其相关, 还有 4 与之形成关联关系。

4. Raw LLaMA

.py

最后，感谢作者的优秀文章！大家加油！