大模型(LLM)的兴起在自然语言处理领域引起了广泛关注,其涌现能力在各个垂直领域(如金融、医疗、教育等)也取 得一定进展。然而,大模型自身面临解释性不足、知识实时性差、生成结果存在虚假信息等诸多挑战。为了应对这些问题,知 识图谱与大模型的融合逐渐成为了研究热点。知识图谱作为一种结构化的知识模型,其真实性和可靠性,成为提高大模型解 释和推理能力的有力工具。同时大模型具备语义理解能力,为知识图谱的构建和更新提供了有力支持。因此,知识图谱和大 模型是互补的(本文称为图模互补)。本文系统性地介绍知识图谱与大模型融合的方法,分别从 1)大模型增强知识图谱,2)知 识图谱增强大模型,两个角度进行全面的回顾和分析。最后,本文从医学诊断预测和时间知识图谱出发,介绍图模互补的领域 应用,并讨论图模互补未来发展的方向,为知识图谱与大模型的进一步研究提供帮助。 近年来,自然语言领域出现了一项令人瞩目的 技术:大模型。大模型(LLM)是指通过超大规模文 本数据训练出来的神经网络模型,由预训练语言模 型(PLM)发 展 而 来,其 特 点 是 模 型 规 模 较 大,参 数 通 常 在 数 十 亿 乃 至 万 亿 级 别。相 较 于 传 统 的 预 训 练语言模型,大模型在处理复杂任务时表现出特殊 的 能 力(涌 现 能 力[1] 、推 理 能 力[2] )。相 关 研 究 表 明, 大 模 型 不 仅 能 够 理 解 和 处 理 大 规 模 的 文 本 数 据[3] , 同时还具备上下文学习能力[4] 和领域泛化能力。这 使得它们成为各种自然语言下游任务的通用选择, 能够轻松进行少样本迁移学习[5] 。如今,AI 领域中 涌现出许多具有代表性的大模型,例如对话式语言 大 模 型 ChatGPT[6] 、增 强 推 理 能 力 的 多 模 态 大 模 型 GPT-4[7] 等等。这些模型不仅在传统的自然语言处 理领域(如搜索引擎[8] 和机器翻译[9] )取得一定进展, 还在金融[10] 、医疗[11] 、教育[12] 等各种领域提供有效帮 助。大模型对传统的自然语言处理领域带来冲击, 促使学者重新思考通用人工智能的可能性[13] 。 目 前,虽 然 大 模 型 引 起 了 广 泛 的 关 注,但 它 仍 然 面 临 着 诸 多 挑 战,包 括 模 型 内 部 的 不 可 控 性,缺 乏解释性[14] 、无法保证知识实时性[5] 、语言数据质量 的 不 确 定 性,以 及 产 生 幻 觉 和 有 毒 信 息 的 潜 在 风 险[15] 。为了应对这些挑战,学者们开始思考将知识 图谱与大模型融合[5] 。知识图谱是一种用于表示和 存 储 知 识 的 网 络 图 形 结 构,其 中 节 点 表 示 实 体,边 表示实体之间的关系[16] 。知识图谱以其数据的真实 性而著称,这一特点可以有效地减轻大模型产生幻 觉 的 问 题 。 例 如 KELM 语 料 库[17] 、通 用 模 型 KG⁃ PT[18] 为大模型提供基于知识图谱转化的真实文本 信 息。大 模 型 作 为 一 个“黑 盒 模 型”其 输 出 结 果 通 常难以解释,而知识图谱内部的结构知识更接近人 类认知。因此,知识图谱可以提供一种解释和推理 知识的手段,探究大模型内部复杂的工作步骤和推 理 过 程。例 如 个 性 化 知 识 库 与 大 模 型 集 成 的 检 索 框 架 KnowledGPT[19] ,提 高 处 理 复 杂 搜 索 和 歧 义 的 能 力。此 外,知 识 图 谱 还 可 以 作 为 外 部 检 索 工 具, 帮助大模型解决公平、隐私和安全等问题[20] 。 如今知识图谱的规模越来越大,传统的图谱构 建、补全技术也面临许多难题,如数据获取、实体识 别、知识抽取和实体消歧等[21] 。大规模知识图谱的 构 建 往 往 需 要 投 入 大 量 的 人 力、物 力 和 时 间 成 本, 且 依 旧 无 法 保 证 知 识 图 谱 质 量 和 可 用 性。而 大 模 型 能 有 效 解 决 这 些 问 题。大 模 型 内 部 存 在 海 量 的 知 识 信 息,在 处 理 复 杂 的 文 本 数 据 信 息 时,能 够 迅 速地进行实体识别与抽取,有效应对知识构建和补 全的挑战[22] 。此外,链接预测是知识图谱推理和问 答 的 关 键 步 骤,在 零 样 本 和 少 样 本 学 习 中,大 模 型 同 样 能 够 有 效 地 挖 掘 实 体 间 的 逻 辑 关 系。根 据 知 识图谱和大模型的上述特点,本文认为知识图谱和 大模型是相互补充的,称为“图模互补”,图 1 为知识 图谱与大模型的优缺点总结。 知 识 图 谱 与 大 模 型 融 合 是 一 个 热 门 研 究 领 域[23~25] 。文献[25]提出了统一大模型与知识图谱的 前瞻性路线图,总结了现有的大模型与知识图谱的 先进技术,并讨论大模型与知识图谱融合的相关挑 战和发展方向。其整体路线划分与本文有所差异, 本文从作用功能角度进行划分,根据知识图谱和大 模型在领域中的地位,将其融合划分为两个不同的 类 别:大 模 型 增 强 知 识 图 谱 和 知 识 图 谱 增 强 大 模 型。并从增益的效果出发,将每个大类别细分为不 同的小类别,最后探究图模互补的领域应用。

成为VIP会员查看完整内容
65

相关内容

知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《大型语言模型持续学习》综述
专知会员服务
60+阅读 · 4月26日
大模型时代的自动图表理解综述
专知会员服务
61+阅读 · 3月19日
以数据为中心的图学习综述
专知会员服务
35+阅读 · 2月2日
《大模型数据增强》综述
专知会员服务
105+阅读 · 1月30日
《以数据为中心的图学习》综述
专知会员服务
49+阅读 · 2023年10月11日
《深度模型融合》综述
专知会员服务
66+阅读 · 2023年9月28日
计算机视觉中的终身学习综述
专知会员服务
61+阅读 · 2023年7月13日
基于深度学习的图像融合方法综述
专知会员服务
55+阅读 · 2023年1月25日
知识图谱可解释推理研究综述
专知会员服务
171+阅读 · 2021年12月31日
【天津大学】知识图谱划分算法研究综述
专知会员服务
106+阅读 · 2020年4月27日
「基于通信的多智能体强化学习」 进展综述
数据受限条件下的多模态处理技术综述
专知
10+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
23+阅读 · 2022年7月13日
时空数据挖掘:综述
专知
23+阅读 · 2022年6月30日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
清华大学《高级机器学习》课程
专知
36+阅读 · 2020年7月21日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
多模态深度学习综述,18页pdf
专知
46+阅读 · 2020年3月29日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2013年12月31日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
361+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
Arxiv
127+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
《大型语言模型持续学习》综述
专知会员服务
60+阅读 · 4月26日
大模型时代的自动图表理解综述
专知会员服务
61+阅读 · 3月19日
以数据为中心的图学习综述
专知会员服务
35+阅读 · 2月2日
《大模型数据增强》综述
专知会员服务
105+阅读 · 1月30日
《以数据为中心的图学习》综述
专知会员服务
49+阅读 · 2023年10月11日
《深度模型融合》综述
专知会员服务
66+阅读 · 2023年9月28日
计算机视觉中的终身学习综述
专知会员服务
61+阅读 · 2023年7月13日
基于深度学习的图像融合方法综述
专知会员服务
55+阅读 · 2023年1月25日
知识图谱可解释推理研究综述
专知会员服务
171+阅读 · 2021年12月31日
【天津大学】知识图谱划分算法研究综述
专知会员服务
106+阅读 · 2020年4月27日
相关资讯
「基于通信的多智能体强化学习」 进展综述
数据受限条件下的多模态处理技术综述
专知
10+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
23+阅读 · 2022年7月13日
时空数据挖掘:综述
专知
23+阅读 · 2022年6月30日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
清华大学《高级机器学习》课程
专知
36+阅读 · 2020年7月21日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
多模态深度学习综述,18页pdf
专知
46+阅读 · 2020年3月29日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2013年12月31日
微信扫码咨询专知VIP会员