用大模型理解知识图谱以服务推荐
Comprehending KGs with LLMs for RecSys。
- 发布时间
- 2024-10
内容介绍
知识图谱被引入推荐系统,本意是借助条目之间的潜在关联缓解协同过滤的数据稀疏问题。但这条路线一直卡在几处结构性缺陷上:图谱本身不完整、文本信息被压成 ID 之后语义断裂、以及难以捕捉全图范围的高阶联系。这份资料给出的回应是,把大语言模型放进这条链路,用它的知识和推理能力去补图谱缺失的事实、读懂图谱里的文本,再重新组织推荐的表示。在 LLM 与 KG 结合成为推荐方向热点的时间点上,它提供了一个把三个问题放在同一个框架里处理的完整设计,而不是只针对其中一处打补丁。
需要先说明它的性质:这不是一篇领域综述,而是一篇提出具体方法并做实验验证的工作,发表在 SIGIR '25 上,代码已开源在 github.com/ziqiangcui/CoLaKG。作者来自香港城市大学、腾讯 FiT、McGill University & MILA、深圳大学和深圳技术大学,第一作者的工作是在腾讯实习期间完成的。方法命名为 CoLaKG,核心思路是把 KG 信息分成局部和全局两个层次分别处理,再用不同的融合机制接入推荐模型。验证在四个真实世界数据集上完成。
论文把现有 KG 增强推荐的问题归纳为三条,并配了一张示意图逐条说明。第一是知识图谱普遍存在事实缺失和覆盖范围有限,构建图谱依赖人工和领域知识,示意图里条目 A 与 B 本应通过属性 P 相连,但 A 缺失 P 属性,两者的关联就断了,原本共享属性的条目因此失去连接。第二是既有方法把图谱中的文本实体和关系转成 ID 使用,丢掉了条目之间天然的语义联系——“horror”和“thriller”语义相近,但落到 ID 51 和 320 上就看不出任何关系。第三是多数方法靠堆叠多层 GNN 逐层传播聚合来捕捉高阶关系,这种做法不仅效率低,还会累积大量无关节点信息,引发过平滑;当两个节点语义强相关却在图谱中相距很远时,现有方法很难把这条联系捕捉到。
CoLaKG 的应对可以按局部和全局两条线来看。局部层面,它以条目为中心抽取子图,配合 prompt engineering,让 LLM 准确理解这一小块邻域的信息,借 LLM 的知识补上缺失的事实。全局层面,它设计了一个基于语义的检索模块,为每个条目从整个知识图谱中检索相关条目来做丰富,从而绕开逐层传播、直接利用全图信息。这两部分再分别通过 representation fusion module 和 retrieval-augmented representation learning module 接入推荐模型。换句话说,LLM 在这里同时扮演了两个角色:图谱的补全者与语义的翻译器。
这一设计的含义在于,知识图谱的价值可能不只取决于它被建得多完整,还取决于有没有办法在推理时把缺失的部分补回来、把 ID 化过程中丢掉的语义找回来。把检索增强引入全局信息的利用,也是对 GNN 逐层传播这条路径的一次替代尝试,让“距离远但语义近”的节点从结构约束里解放出来。对工程实践而言,这类方案提示了一个方向:当图谱质量难以在短期内提升时,可以用模型侧的能力去对冲数据侧的不足。当然,这套思路的代价是把 LLM 的推理与检索引入了推荐链路,离线成本与在线延迟如何权衡,材料中没有展开。
想了解 LLM 如何与知识图谱、推荐系统结合的研究者和算法工程师,可以从这份资料里得到一个结构清晰的问题分解:三个痛点对应三处设计,局部与全局各有分工。做知识图谱构建或推荐召回的团队,也可以把它的子图抽取加 prompt 方案当作可复用的模板,代码开源降低了复现门槛。需要提醒的是,材料提供的是摘要与引言部分,四个数据集上的具体对比结果、基线选择和提升幅度都没有出现在这里;“实验证明方法更优”是作者的结论,具体证据要回到原文与代码中核对。此外,论文的诊断以示意图这类典型场景为出发点,真实业务中三个问题的相对严重程度可能不同,直接迁移前需要自行评估。
原文摘录
自动提取自 PDFComprehending Knowledge Graphs with Large Language Models for Recommender Systems Ziqiang Cui∗ City University of Hong Kong Hong Kong SAR [email protected] Yunpeng Weng FiT, Tencent Shenzhen, China [email protected] Xing Tang† FiT, Tencent Shenzhen, China [email protected] Fuyuan Lyu McGill University & MILA Montréal, Canada [email protected] Dugang Liu Shenzhen University Shenzhen, China [email protected] Xiuqiang He Shenzhen Technology University Shenzhen, China [email protected] Chen Ma† City University of Hong Kong Hong Kong SAR [email protected] Abstract In recent years, the introduction of knowledge graphs (KGs) has significantly advanced recommender systems by facilitating the dis- covery of potential associations between items. However, existing methods still face several limitations. First, most KGs suffer from missing facts or limited scopes.