使用图模型解决问题时,面对实际环境中来源多样、形式复杂的数据,怎样将多种信息进行合理融合是一个值得关注的问题。本文将介绍两篇发表于KDD 2020的与图模型信息融合相关的工作。
第一篇工作为《HGMF: Heterogeneous Graph-based Fusion for Multimodal Data with Incompleteness》,该工作主要是基于异质图来解决多模态学习中在信息融合时会遇到的模态缺失问题。
第二篇工作为《Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion》,该工作通过引入两个外部知识图谱丰富会话的语义信息,并通过互信息最大化弥补知识图谱间的语义鸿沟以提升会话推荐系统的表现。
多模态数据指的是从多种来源收集到的异构数据,例如人机交互场景中识别人类行为与情感时收集到的视觉、声音、语言数据;进行生物医学数据分析时收集的实验、基因序列以及医疗记录数据等。多模态数据能为实际问题提供相互补充的信息,对其进行学习具有很高的价值。多模态学习包含多模态数据融合、多模态情感分析以及图像问答等多个分支,本文关注的是多模态数据的融合任务,即将高度交互的多种模态数据进行合理融合后用作下游任务的决策。
然而,在实际的多模态数据收集过程中,由于传感器故障、数据损坏以及人为失误等多种原因,最终收集的数据常常存在不同程度的模态缺失。下图展示了一个具有模态缺失问题的三模态数据集。
模态缺失导致多模态数据在融合过程中会遇到以下三个技术挑战:
总之,如何有效地将不完整并高度交互的多模态数据进行融合仍是一个极具挑战性的问题。与已有的基于不完整数据的直接删除或数据插补(data imputation)的解决方案不同的是,本文提出了一种通过构建异质图并在异质图嵌入的同时实现不完整多模态数据融合的方法。
作者提出的Heterogeneous Graph-based Multimodal Fusion(HGMF)模型总览如下:
异质超点图中的节点具有不同数量以及维度的特征,被称为超点;一条边可同时连接
本文中,作者定义不完整模式为模态的一种组合方式。对于一个具有模态缺失问题的
作者首先将数据集中的所有数据按照可用模态的不同组合方式分为
将所有块分别构建得到的子图统一到一个图中,可以得到最终的异质超点图。注意到,在这样的一种构图方法中,两个数据点的部分公共模态特征相近就可能被超边连接,即缺失某种模态的数据点与含有该种模态的数据点可能被连接,从而在一定程度上减轻模态不完整的问题。
每个超节点内部本身就包含高度交互的多模态内容,作者对这部分内容进行了编码。
作者首先使用CNN、Bi-LSTM或全连接网络等DNN对单模态特征进行嵌入,得到第
若
若
编码器通过对节点内部模态内部以及模态间交互的捕捉,将原始的模态特征集
2.2.3 多折双层图注意力
由于不同节点的模态组合不同,上步编码之后得到的图仍是异质的。为实现异质图上的多模态信息融合,作者使用双层图注意力机制。首先聚合同种模式下邻居的信息,接着聚合不同模式信息。
对于节点
在聚合完模式内部信息之后,下一步是学习不同模式之间的关系,使得有不同模态缺失情况的数据点可以彼此学习,弥补缺失信息。聚合一个数据点的不同模式表示采用类似的注意力机制:
堆叠多个以上双层图注意力层以实现异质多模态数据的层级交互与融合。
实验包含3D物体识别以及情感识别两个任务,前者使用双模态数据集ModelNet40以及NTU进行,后者选择三模态数据集IEMONAP进行。为了模拟实际应用中可能出现的模态缺失情况,作者设置了多模态不完整比例
HGMF以及其他baseline在不同多模态不完整比例下进行3D物体识别实验的结果如下(CPL代表模态数据完整):
三粒度情感识别的实验结果如下:
可以看到,HGMF在模态不完整比例较高时的表现与其他baseline相比得到了稳定提升,说明其确实具有缓解模态缺失问题的能力。
会话推荐系统(Conversation Recommender System, CRS)作为一种通过与用户的交互式对话生成高质量推荐商品的推荐系统,近年来越来越多地受到人们的关注。一个电影推荐场景下的CRS工作示例如下所示。
CRS需要推荐模块和对话模块的无缝整合。对话模块负责理解用户意图,并生成恰当的回复语句;而推荐模块负责学习用户偏好,并基于上下文内容为用户推荐高质量商品。目前针对CRS的研究中主要存在以下两个问题需要解决。
为解决上述问题,本文提出了基于知识图谱的语义融合模型KG-based Semantic Fusion(KGSF),通过引入面向词语的知识图谱ConceptNet和面向商品的知识图谱DBPedia丰富对话信息,并通过互信息最大化消除两个知识图谱之间的语义鸿沟。基于对齐之后的语义表示,作者还设计了KG增强的推荐模块用于生成精确推荐以及KG增强的对话模块用于在回复文本中生成信息量丰富的关键词或商品。
本文使用GCN编码ConceptNet,每次更新时执行以下聚合操作:
Item间的关系比词语间要复杂的多,本文使用关注节点间关系的R-GCN来学习item的表示:
消除word与item在表示上的语义鸿沟的核心思想在于使对话中共现的word和item在知识图谱中有相近的节点表示,这样能够统一两个语义空间中的数据表示。本文使用互信息最大化的方法达到以上目的。
给定两个变量
其中,
互信息的准确数值通常很难计算得到,通常转化为计算其下界,通过抬高互信息下界值来间接使得互信息最大化:
其中,
由(4)式和(5)式,可以得到知识图谱嵌入模块的优化目标函数。
本文将对话经知识图谱嵌入并使用自注意力机制后得到的词向量
商品被推荐给用户的概率为:
使用如下交叉熵损失函数学习参数:
其中,
本文沿用了Transformer的编码器-解码器架构,并对解码器进行了改进,在自注意力子层之后,又使用了两个融合知识图谱的注意力层:
其中,
回复生成模块的损失函数如下:
参数学习的完整流程如下:
首先通过互信息最大化对两个知识图谱的嵌入图神经网络进行预训练;接下来通过推荐item的交叉熵损失学习推荐模块参数并同时微调图神经网络参数;最后是回复生成模块参数的单独学习。
本文在CRS数据集ReDial上分别进行推荐任务以及对话生成任务实验,并对比了KGSF与其他baseline的表现。
可以看到,不论是在常规推荐场景下还是冷启动(上下文未提及任何商品或属性)场景下,KGSF都能取得最优表现。
MIM模块在提升模型表现的同时,也能缩短模型的收敛时间。
KGSF在对话生成任务上也能取得最优效果。
本文介绍的第一篇工作研究如何将有模态缺失问题的多模态数据集构建成为异质图并在图上进行合理的多模态信息交互,达到相互补充与融合的效果;第二篇工作则在引入面向word以及面向item的两个知识图谱后,通过互信息最大化对齐这两个知识图谱在语义上的表示空间,从而提升会话推荐效果。
专知便捷查看
便捷下载,请关注专知公众号(点击上方蓝色专知关注)
后台回复“GMIF” 可以获取《【KDD2020】 图模型信息融合》专知下载链接索引
论文专栏: KDD2020知识图谱相关论文分享
论文解读者: 北邮 GAMMA Lab 博士生 马昂
题目: 基于动态知识图谱的多事件预测
会议: KDD 2020
论文地址: https://dl.acm.org/doi/10.1145/3394486.3403209
推荐理由: 从开源社交传感器对多种类型的并发事件及其参与者进行建模是许多领域的重要任务,例如,医疗保健,救灾和财务分析。事件预测可以帮助人类了解动态并做出快速而准确的决策。预期可能参与这些活动的参与者也可以帮助利益相关者更好地应对意外事件。在本文中,作者首先利用GCN和CompGCN对Temporal Event Graph 和 Temporal Word Graph进行建模,学习节点表示。其次,基于Attention机制,对Temporal Event Graph和Temporal Word Graph的节点表示进行融合。最后,利用RNN,对时间信息进行编码,完成事件预测和事件参与者预测任务。在数据集ICEWS上进行了实验,结果表明,该方法优于目前用于社会事件预测的最新方法,并且该方法还具备可解释性。
题目: 解决基于图神经网络的会话推荐存在的信息损失问题
会议: KDD 2020
论文地址: https://dl.acm.org/doi/pdf/10.1145/3394486.3403170
推荐理由: 这篇论文提出了目前在使用图神经网络方法来解决基于会话的推荐问题时所存在的两个信息缺失问题并建立一个没有信息丢失问题的模型,在三个公共数据集上优于最先进的模型。
在许多在线服务中,用户的行为自然是按时间排序的。为了预测用户未来的行为,下一项(next-item)推荐系统通过从用户的历史行为中挖掘序列模式来学习用户的偏好。基于会话的推荐是下一项推荐的特殊情况。与一般的下一项推荐系统使用固定数量的前n项来预测下一项不同,基于会话的推荐系统将用户的操作分组为互不关联的会话,只使用当前会话中的项目来进行推荐。其中会话是在时间上接近的一组项目。基于会话的推荐的思想来自于这样一种观察,即会话内依赖项对下一项的影响比会话间依赖项更大。因此,一般的下一项推荐系统可能存在合并不相关会话和提取不完整会话的问题。而基于会话的推荐系统则不存在这样的问题,因此可以做出更准确的推荐,并被部署在许多在线服务中。
论文标题: Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
论文来源: ACM SIGKDD 2020
论文链接:https://www.zhuanzhi.ai/paper/2d6c4333dfba038f1b318a37f5bc035d
会话推荐系统(conversation recommender system, CRS)旨在通过交互式的会话给用户推荐高质量的商品。通常CRS由寻求商品的user和推荐商品的system组成,通过交互式的会话,user实时表达自己的偏好,system理解user的意图并推荐商品。目前会话推荐系统有两个问题需要解决。首先,对话数据本身缺少足够的上下文信息,无法准确地理解用户的偏好(传统的推荐任务会有历史交互序列或者用户属性,但是该场景下只有对话的记录)。其次,自然语言的表示和商品级的用户偏好之间存在语义鸿沟(在user的话语“Can you recommend me a scary movie like Jaws”中,用户偏好反映在单词”scary“和电影实体”Jaws“上,但这两类信息天然存在语义的差异)。
为了解决上述问题,本文提出了模型KG-based Semantic Fusion approach(KGSF),通过互信息最大化的多知识图谱语义融合技术,不仅打通了对话中不同类型信息的语义鸿沟,同时针对性得设计了下游的模型,以充分发挥两个知识图谱的作用,在会话推荐系统的两个任务上均取得了state-of-the-art的效果。
图卷积网络(Graph Convolutional Networks, GCNs)作为一种学习图结构数据的神经网络,在处理图数据分析问题上表现出了极大的人气,被用于如节点分类、图分类、链路预测、推荐等任务中。典型的GCN及其变体通常采用消息传递方式,其关键步骤是特征聚合,即一个节点在每个卷积层中聚合来自其拓扑邻居的特征信息。这样,特征信息通过网络拓扑结构传播到邻居节点表示中,然后通过学习所有节点嵌入表示用于下游任务如分类等,该学习过程是由部分节点标签来监督的。实际上,GCNs能够取得巨大的成功部分归功于它提供了一种拓扑结构和节点特征的融合策略来学习节点表示,而这种融合策略的学习训练过程由一个端到端的模型框架来监督。
这里我们首先思考了一个问题:作为端到端框架的GCNs,从拓扑结构和节点特征中真正学习和融合了什么样的信息? 在第二小节我们通过实验设计评估了GCNs融合拓扑结构和节点特征的能力。实验结果表明,GCNs在融合网络拓扑结构和节点特征上能力上与最理想的水平相差甚远。即使在一些简单的情况下(节点的特性/拓扑与节点标签的关联是非常明确的)GCN仍不能自适应地融合节点特性和拓扑结构并提取最相关的信息。而无法自适应学习到拓扑结构、节点特征与最终任务之间最相关的信息,可能会严重阻碍GCNs在分类任务中的表现能力,并且由于实际应用中图数据与任务之间的相关性往往非常复杂且不可知,因此自适应能力也是很重要的。
针对这些问题,我们提出了一种灵活地用于半监督节点分类的自适应多通道图卷积网络方案。其核心思想是同时学习基于节点特征、拓扑结构及其组合的节点嵌入,并依据特征与结构之间的相似性对标签预测的作用往往是互补的这一事实,采用设计的自适应融合机制来获取对分类任务最有帮助且最深层次的相关信息。
主题: Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
摘要: 会话推荐系统(CRS)旨在通过交互式对话向用户推荐高质量的项目。尽管已为CRS做出了一些努力,但仍有两个主要问题有待解决。首先,对话数据本身缺少足够的上下文信息,无法准确地了解用户的偏好。第二,自然语言表达与项目级用户偏好之间存在语义鸿沟。为了解决这些问题,我们结合了面向单词和面向实体的知识图(KG)来增强CRS中的数据表示,并采用互信息最大化来对齐单词级和实体级的语义空间。基于对齐的语义表示,我们进一步开发了用于进行准确推荐的KGenhanced推荐器组件,以及可以在响应文本中生成信息性关键字或实体的KG增强对话框组件。大量的实验证明了我们的方法在推荐和对话任务上都能产生更好的性能。
领域适应(DA)提供了重用数据和模型用于新问题领域的有价值的方法。然而,对于具有不同数据可用性的时间序列数据,还没有考虑到健壮的技术。在本文中,我们做出了三个主要贡献来填补这一空白。我们提出了一种新的时间序列数据卷积深度域自适应模型(CoDATS),该模型在现实传感器数据基准上显著提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据,我们增加了CoDATS的有用性,从而进一步提高了与以前的单源方法相比的准确性,特别是在域之间具有高度可变性的复杂时间序列数据集上。其次,我们提出了一种新的弱监督域自适应(DA-WS)方法,利用目标域标签分布形式的弱监督,这可能比其他数据标签更容易收集。第三,我们对不同的真实数据集进行了综合实验,以评估我们的域适应和弱监督方法的有效性。结果表明,用于单源DA的CoDATS比最先进的方法有了显著的改进,并且我们使用来自多个源域和弱监督信号的数据实现了额外的准确性改进。