【KDD2020】 图模型信息融合

2020 年 10 月 16 日 专知
【KDD2020】 图模型信息融合
论文解读者:北邮 GAMMA Lab 硕士生  王贞仪

1 引言

使用图模型解决问题时,面对实际环境中来源多样、形式复杂的数据,怎样将多种信息进行合理融合是一个值得关注的问题。本文将介绍两篇发表于KDD 2020的与图模型信息融合相关的工作。

第一篇工作为《HGMF: Heterogeneous Graph-based Fusion for Multimodal Data with Incompleteness》,该工作主要是基于异质图来解决多模态学习中在信息融合时会遇到的模态缺失问题。

第二篇工作为《Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion》,该工作通过引入两个外部知识图谱丰富会话的语义信息,并通过互信息最大化弥补知识图谱间的语义鸿沟以提升会话推荐系统的表现。

2 HGMF: Heterogeneous Graph-based Fusion for Multimodal Data with Incompleteness

2.1 引言

多模态数据指的是从多种来源收集到的异构数据,例如人机交互场景中识别人类行为与情感时收集到的视觉、声音、语言数据;进行生物医学数据分析时收集的实验、基因序列以及医疗记录数据等。多模态数据能为实际问题提供相互补充的信息,对其进行学习具有很高的价值。多模态学习包含多模态数据融合、多模态情感分析以及图像问答等多个分支,本文关注的是多模态数据的融合任务,即将高度交互的多种模态数据进行合理融合后用作下游任务的决策。

然而,在实际的多模态数据收集过程中,由于传感器故障、数据损坏以及人为失误等多种原因,最终收集的数据常常存在不同程度的模态缺失。下图展示了一个具有模态缺失问题的三模态数据集。

模态缺失导致多模态数据在融合过程中会遇到以下三个技术挑战:

  1. 数据丢失降低了可用数据规模
  2. 样本具有不同程度的模态丢失,从而具有不一致的特征空间以及维度
  3. 有效的多模态融合需要同时学习模态内部特有以及多模态间的交互信息

总之,如何有效地将不完整并高度交互的多模态数据进行融合仍是一个极具挑战性的问题。与已有的基于不完整数据的直接删除或数据插补(data imputation)的解决方案不同的是,本文提出了一种通过构建异质图并在异质图嵌入的同时实现不完整多模态数据融合的方法。

2.2 模型

作者提出的Heterogeneous Graph-based Multimodal Fusion(HGMF)模型总览如下:


首先,作者将具有不完整模态的数据点构建成为一张异质超点图;接下来,作者通过一个基于图神经网络的学习框架,从高度交互的不完整多个模态中提取互补信息并将信息从不同子空间融合至一个统一的空间内。


2.2.1 异质超点图的构建

异质超点图中的节点具有不同数量以及维度的特征,被称为超点;一条边可同时连接 个共享相似信息的数据点,被称为超边

本文中,作者定义不完整模式为模态的一种组合方式。对于一个具有模态缺失问题的 模态数据集,数据共可能存在 种模态组合可能(排除空模态组合),即存在 种不完整模式。

作者首先将数据集中的所有数据按照可用模态的不同组合方式分为 块,同一块中的所有数据有相同的可用模态,一块中的两点 可按照以下公式计算正则化距离:

为当前块对应的模态集合, 为正则化系数, 为模态 的浅层特征。计算出当前块中两点之间的距离后,每个点与它的 近邻通过超边连接。

将所有块分别构建得到的子图统一到一个图中,可以得到最终的异质超点图。注意到,在这样的一种构图方法中,两个数据点的部分公共模态特征相近就可能被超边连接,即缺失某种模态的数据点与含有该种模态的数据点可能被连接,从而在一定程度上减轻模态不完整的问题。

2.2.2 节点内编码器

每个超节点内部本身就包含高度交互的多模态内容,作者对这部分内容进行了编码。

作者首先使用CNN、Bi-LSTM或全连接网络等DNN对单模态特征进行嵌入,得到第 个数据的模态 嵌入为 。接下来对每种模态组合 计算其对应的模态交互表示。

只含有一种模态,那么按如下方式计算模态特有信息:

含有多种模态,那么按如下方式计算模态交互信息:

编码器通过对节点内部模态内部以及模态间交互的捕捉,将原始的模态特征集 编码为新的特征集

2.2.3 多折双层图注意力

由于不同节点的模态组合不同,上步编码之后得到的图仍是异质的。为实现异质图上的多模态信息融合,作者使用双层图注意力机制。首先聚合同种模式下邻居的信息,接着聚合不同模式信息。

  • 模式内聚合

对于节点 ,定义其在模式 下的邻居集合为 ,分别使用(5)式和(6)式计算不同邻居在聚合过程中的注意力值大小以及 在模式 下的聚合表示:

  • 模式间聚合

在聚合完模式内部信息之后,下一步是学习不同模式之间的关系,使得有不同模态缺失情况的数据点可以彼此学习,弥补缺失信息。聚合一个数据点的不同模式表示采用类似的注意力机制:

衡量了在节点 上,模式 对于模式 的影响大小。节点 在模式 下更新后的表示如下:

堆叠多个以上双层图注意力层以实现异质多模态数据的层级交互与融合。

2.3 实验

实验包含3D物体识别以及情感识别两个任务,前者使用双模态数据集ModelNet40以及NTU进行,后者选择三模态数据集IEMONAP进行。为了模拟实际应用中可能出现的模态缺失情况,作者设置了多模态不完整比例 ,从数据集中随机删除数据,使得一个大小为 模态数据集中每种模式都对应 个数据。

HGMF以及其他baseline在不同多模态不完整比例下进行3D物体识别实验的结果如下(CPL代表模态数据完整):

三粒度情感识别的实验结果如下:

可以看到,HGMF在模态不完整比例较高时的表现与其他baseline相比得到了稳定提升,说明其确实具有缓解模态缺失问题的能力。

3 Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

3.1 引言

会话推荐系统(Conversation Recommender System, CRS)作为一种通过与用户的交互式对话生成高质量推荐商品的推荐系统,近年来越来越多地受到人们的关注。一个电影推荐场景下的CRS工作示例如下所示。

CRS需要推荐模块和对话模块的无缝整合。对话模块负责理解用户意图,并生成恰当的回复语句;而推荐模块负责学习用户偏好,并基于上下文内容为用户推荐高质量商品。目前针对CRS的研究中主要存在以下两个问题需要解决。

  1. 与传统推荐系统能够利用用户的历史交互序列或用户属性不同的是,CRS使用的对话数据缺少足够的上下文内容帮助精确理解用户偏好;
  2. 对话以自然语言的形式展示,而实际的用户偏好是反映在商品或实体上的。这两类数据信号间存在天然的语义鸿沟。

为解决上述问题,本文提出了基于知识图谱的语义融合模型KG-based Semantic Fusion(KGSF),通过引入面向词语的知识图谱ConceptNet和面向商品的知识图谱DBPedia丰富对话信息,并通过互信息最大化消除两个知识图谱之间的语义鸿沟。基于对齐之后的语义表示,作者还设计了KG增强的推荐模块用于生成精确推荐以及KG增强的对话模块用于在回复文本中生成信息量丰富的关键词或商品。

3.2 模型

3.2.1 编码外部知识图谱

  • 编码面向word的知识图谱

本文使用GCN编码ConceptNet,每次更新时执行以下聚合操作:

  • 编码面向item的知识图谱

Item间的关系比词语间要复杂的多,本文使用关注节点间关系的R-GCN来学习item的表示:

3.2.2 使用互信息最大化的知识图谱融合

消除word与item在表示上的语义鸿沟的核心思想在于使对话中共现的word和item在知识图谱中有相近的节点表示,这样能够统一两个语义空间中的数据表示。本文使用互信息最大化的方法达到以上目的。

给定两个变量 (本文中对应的是word和item的表示),它们之间的互信息定义如下:

其中, 联合分布和边缘分布点积之间的KL散度。

互信息的准确数值通常很难计算得到,通常转化为计算其下界,通过抬高互信息下界值来间接使得互信息最大化:

其中, 分别代表正样本对(共现word-item对)和负样本对(随机word-item对)的得分期望。得分函数如下:

由(4)式和(5)式,可以得到知识图谱嵌入模块的优化目标函数。

3.2.3 知识图谱增强的推荐模块

本文将对话经知识图谱嵌入并使用自注意力机制后得到的词向量 门控组合后获得用户的偏好表示:

商品被推荐给用户的概率为:

使用如下交叉熵损失函数学习参数:

其中, 为互信息最大化损失,用于微调知识图谱嵌入模块。

3.2.4 知识图谱增强的回复生成模块

本文沿用了Transformer的编码器-解码器架构,并对解码器进行了改进,在自注意力子层之后,又使用了两个融合知识图谱的注意力层:

其中, 代表多头注意力函数,而 则定义了一个全连接前向网络。

回复生成模块的损失函数如下:

3.2.5 参数学习

参数学习的完整流程如下:

首先通过互信息最大化对两个知识图谱的嵌入图神经网络进行预训练;接下来通过推荐item的交叉熵损失学习推荐模块参数并同时微调图神经网络参数;最后是回复生成模块参数的单独学习。

3.3 实验

本文在CRS数据集ReDial上分别进行推荐任务以及对话生成任务实验,并对比了KGSF与其他baseline的表现。

3.3.1 推荐任务

可以看到,不论是在常规推荐场景下还是冷启动(上下文未提及任何商品或属性)场景下,KGSF都能取得最优表现。

MIM模块在提升模型表现的同时,也能缩短模型的收敛时间。

3.3.2 对话生成任务

KGSF在对话生成任务上也能取得最优效果。

4 总结

本文介绍的第一篇工作研究如何将有模态缺失问题的多模态数据集构建成为异质图并在图上进行合理的多模态信息交互,达到相互补充与融合的效果;第二篇工作则在引入面向word以及面向item的两个知识图谱后,通过互信息最大化对齐这两个知识图谱在语义上的表示空间,从而提升会话推荐效果。


本期责任编辑:杨成
本期编辑:刘佳玮

北邮 GAMMA Lab 公众号
主编:石川
责任编辑:王啸、杨成
编辑:刘佳玮
副编辑:郝燕如,纪厚业

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GMIF” 可以获取《【KDD2020】 图模型信息融合》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

论文专栏: KDD2020知识图谱相关论文分享

论文解读者: 北邮 GAMMA Lab 博士生 马昂

题目: 基于动态知识图谱的多事件预测

会议: KDD 2020

论文地址: https://dl.acm.org/doi/10.1145/3394486.3403209

推荐理由: 从开源社交传感器对多种类型的并发事件及其参与者进行建模是许多领域的重要任务,例如,医疗保健,救灾和财务分析。事件预测可以帮助人类了解动态并做出快速而准确的决策。预期可能参与这些活动的参与者也可以帮助利益相关者更好地应对意外事件。在本文中,作者首先利用GCN和CompGCN对Temporal Event Graph 和 Temporal Word Graph进行建模,学习节点表示。其次,基于Attention机制,对Temporal Event Graph和Temporal Word Graph的节点表示进行融合。最后,利用RNN,对时间信息进行编码,完成事件预测和事件参与者预测任务。在数据集ICEWS上进行了实验,结果表明,该方法优于目前用于社会事件预测的最新方法,并且该方法还具备可解释性。

成为VIP会员查看完整内容
0
18

题目: 解决基于图神经网络的会话推荐存在的信息损失问题

会议: KDD 2020

论文地址: https://dl.acm.org/doi/pdf/10.1145/3394486.3403170

推荐理由: 这篇论文提出了目前在使用图神经网络方法来解决基于会话的推荐问题时所存在的两个信息缺失问题并建立一个没有信息丢失问题的模型,在三个公共数据集上优于最先进的模型。

在许多在线服务中,用户的行为自然是按时间排序的。为了预测用户未来的行为,下一项(next-item)推荐系统通过从用户的历史行为中挖掘序列模式来学习用户的偏好。基于会话的推荐是下一项推荐的特殊情况。与一般的下一项推荐系统使用固定数量的前n项来预测下一项不同,基于会话的推荐系统将用户的操作分组为互不关联的会话,只使用当前会话中的项目来进行推荐。其中会话是在时间上接近的一组项目。基于会话的推荐的思想来自于这样一种观察,即会话内依赖项对下一项的影响比会话间依赖项更大。因此,一般的下一项推荐系统可能存在合并不相关会话和提取不完整会话的问题。而基于会话的推荐系统则不存在这样的问题,因此可以做出更准确的推荐,并被部署在许多在线服务中。

成为VIP会员查看完整内容
0
13

论文标题: Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

论文来源: ACM SIGKDD 2020

论文链接:https://www.zhuanzhi.ai/paper/2d6c4333dfba038f1b318a37f5bc035d

会话推荐系统(conversation recommender system, CRS)旨在通过交互式的会话给用户推荐高质量的商品。通常CRS由寻求商品的user和推荐商品的system组成,通过交互式的会话,user实时表达自己的偏好,system理解user的意图并推荐商品。目前会话推荐系统有两个问题需要解决。首先,对话数据本身缺少足够的上下文信息,无法准确地理解用户的偏好(传统的推荐任务会有历史交互序列或者用户属性,但是该场景下只有对话的记录)。其次,自然语言的表示和商品级的用户偏好之间存在语义鸿沟(在user的话语“Can you recommend me a scary movie like Jaws”中,用户偏好反映在单词”scary“和电影实体”Jaws“上,但这两类信息天然存在语义的差异)。

为了解决上述问题,本文提出了模型KG-based Semantic Fusion approach(KGSF),通过互信息最大化的多知识图谱语义融合技术,不仅打通了对话中不同类型信息的语义鸿沟,同时针对性得设计了下游的模型,以充分发挥两个知识图谱的作用,在会话推荐系统的两个任务上均取得了state-of-the-art的效果。

成为VIP会员查看完整内容
0
16

图卷积网络(Graph Convolutional Networks, GCNs)作为一种学习图结构数据的神经网络,在处理图数据分析问题上表现出了极大的人气,被用于如节点分类、图分类、链路预测、推荐等任务中。典型的GCN及其变体通常采用消息传递方式,其关键步骤是特征聚合,即一个节点在每个卷积层中聚合来自其拓扑邻居的特征信息。这样,特征信息通过网络拓扑结构传播到邻居节点表示中,然后通过学习所有节点嵌入表示用于下游任务如分类等,该学习过程是由部分节点标签来监督的。实际上,GCNs能够取得巨大的成功部分归功于它提供了一种拓扑结构和节点特征的融合策略来学习节点表示,而这种融合策略的学习训练过程由一个端到端的模型框架来监督。

这里我们首先思考了一个问题:作为端到端框架的GCNs,从拓扑结构和节点特征中真正学习和融合了什么样的信息? 在第二小节我们通过实验设计评估了GCNs融合拓扑结构和节点特征的能力。实验结果表明,GCNs在融合网络拓扑结构和节点特征上能力上与最理想的水平相差甚远。即使在一些简单的情况下(节点的特性/拓扑与节点标签的关联是非常明确的)GCN仍不能自适应地融合节点特性和拓扑结构并提取最相关的信息。而无法自适应学习到拓扑结构、节点特征与最终任务之间最相关的信息,可能会严重阻碍GCNs在分类任务中的表现能力,并且由于实际应用中图数据与任务之间的相关性往往非常复杂且不可知,因此自适应能力也是很重要的。

针对这些问题,我们提出了一种灵活地用于半监督节点分类的自适应多通道图卷积网络方案。其核心思想是同时学习基于节点特征、拓扑结构及其组合的节点嵌入,并依据特征与结构之间的相似性对标签预测的作用往往是互补的这一事实,采用设计的自适应融合机制来获取对分类任务最有帮助且最深层次的相关信息。

成为VIP会员查看完整内容
0
22

主题: Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion

摘要: 会话推荐系统(CRS)旨在通过交互式对话向用户推荐高质量的项目。尽管已为CRS做出了一些努力,但仍有两个主要问题有待解决。首先,对话数据本身缺少足够的上下文信息,无法准确地了解用户的偏好。第二,自然语言表达与项目级用户偏好之间存在语义鸿沟。为了解决这些问题,我们结合了面向单词和面向实体的知识图(KG)来增强CRS中的数据表示,并采用互信息最大化来对齐单词级和实体级的语义空间。基于对齐的语义表示,我们进一步开发了用于进行准确推荐的KGenhanced推荐器组件,以及可以在响应文本中生成信息性关键字或实体的KG增强对话框组件。大量的实验证明了我们的方法在推荐和对话任务上都能产生更好的性能。

成为VIP会员查看完整内容
0
37

领域适应(DA)提供了重用数据和模型用于新问题领域的有价值的方法。然而,对于具有不同数据可用性的时间序列数据,还没有考虑到健壮的技术。在本文中,我们做出了三个主要贡献来填补这一空白。我们提出了一种新的时间序列数据卷积深度域自适应模型(CoDATS),该模型在现实传感器数据基准上显著提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据,我们增加了CoDATS的有用性,从而进一步提高了与以前的单源方法相比的准确性,特别是在域之间具有高度可变性的复杂时间序列数据集上。其次,我们提出了一种新的弱监督域自适应(DA-WS)方法,利用目标域标签分布形式的弱监督,这可能比其他数据标签更容易收集。第三,我们对不同的真实数据集进行了综合实验,以评估我们的域适应和弱监督方法的有效性。结果表明,用于单源DA的CoDATS比最先进的方法有了显著的改进,并且我们使用来自多个源域和弱监督信号的数据实现了额外的准确性改进。

成为VIP会员查看完整内容
0
25
小贴士
相关VIP内容
专知会员服务
12+阅读 · 2020年11月24日
专知会员服务
6+阅读 · 2020年11月16日
专知会员服务
18+阅读 · 2020年11月10日
专知会员服务
13+阅读 · 2020年10月29日
专知会员服务
16+阅读 · 2020年9月7日
【KDD2020】动态知识图谱的多事件预测
专知会员服务
54+阅读 · 2020年8月30日
专知会员服务
22+阅读 · 2020年8月26日
专知会员服务
62+阅读 · 2020年7月9日
专知会员服务
25+阅读 · 2020年5月25日
相关论文
Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
Kun Zhou,Wayne Xin Zhao,Shuqing Bian,Yuanhang Zhou,Ji-Rong Wen,Jingsong Yu
7+阅读 · 2020年7月8日
Multi-Modal Domain Adaptation for Fine-Grained Action Recognition
Jonathan Munro,Dima Damen
6+阅读 · 2020年3月19日
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
8+阅读 · 2020年3月5日
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
14+阅读 · 2020年3月3日
Relation-Aware Graph Attention Network for Visual Question Answering
Linjie Li,Zhe Gan,Yu Cheng,Jingjing Liu
4+阅读 · 2019年10月9日
Factor Graph Attention
Idan Schwartz,Seunghak Yu,Tamir Hazan,Alexander Schwing
5+阅读 · 2019年4月11日
Relational Deep Reinforcement Learning
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
5+阅读 · 2018年6月28日
Farzaneh Mahdisoltani,Guillaume Berger,Waseem Gharbieh,David Fleet,Roland Memisevic
7+阅读 · 2018年4月24日
Huan Zhao,Quanming Yao,Yangqiu Song,James Kwok,Dik Lun Lee
10+阅读 · 2018年1月8日
Xiang Long,Chuang Gan,Gerard de Melo,Jiajun Wu,Xiao Liu,Shilei Wen
4+阅读 · 2017年11月27日
Top