【NeurIPS 2020】ᐕ)⁾⁾5篇GNN相关论文

10 月 6 日 图与推荐
【NeurIPS 2020】ᐕ)⁾⁾5篇GNN相关论文

推荐5篇 NeurIPS 2020 接收的5篇 GNN 相关论文.分别为:
1. 随机游走图神经网络
2. 图神经网络中基于路径积分的卷积和池化算法
3. 大型随机图上的图卷积网络的收敛性和稳定性
4. Erdős Goes Neurical:一种图上组合优化的无监督学习框架
5. 用有限状态自动机层学习图结构
6. GNN 学习资料

1. Random Walk Graph Neural Networks

https://www.lix.polytechnique.fr/~nikolentzos/files/rw_gnns_neurips20

大多数 GNN 属于消息传递神经网络(MPNNs)。这些模型使用迭代邻域聚合方案来更新顶点表示。然后,为了计算图的向量表示,它们使用一些置换不变函数来聚合顶点的表示。因此,MPNNs 将图视为集合,似乎忽略了从图拓扑中产生的特征
此文提出了一种更直观、更透明的图结构数据结构,称为随机游走图神经网络(RWNN)

  • 该模型的第一层由许多可训练的“隐藏图”组成,使用随机游走核将这些图与输入图进行比较,以产生图表示。
  • 然后,这些表示被传递到一个全连接的神经网络,该神经网络产生输出。

所采用的随机游走核是可微的,因此,所提出的模型是端到端可训练的
在合成数据集上演示了该模型的透明性。此外,在图分类数据集上对该模型进行了实证评估,结果表明该模型取得了较好的性能。

模型图

实验结果

2. Path Integral Based Convolution and Pooling for Graph Neural Networks

https://arxiv.org/abs/2006.16811

图神经网络(GNNs)将传统神经网络的功能扩展到图结构数据。与CNN类似,图的卷积和池化的优化设计是成功的关键。

借鉴物理学的思想,提出了一种基于路径积分的图神经网络(PAN),用于图的分类和回归任务

  • 文章考虑一种 卷积运算,它涉及连接消息发送者和接收者的每条路径,具有取决于路径长度的可学习权重,该路径长度对应于最大熵随机游走。
  • 它将图的拉普拉斯矩阵推广到一个新的转移矩阵,称之为 最大熵转移(MET)矩阵,它是由路径积分形式导出的。重要的是,MET矩阵的对角线与子图中心性直接相关,从而提供了自然和自适应的池化机制。
  • PAN提供了一个 多功能的框架,可以很好的适用于具有不同大小和结构的不同图数据,也可以将大多数现有的GNN体系结构视为PAN的特例。

实验结果表明,PAN在各种图形分类/回归任务上都达到了最先进的性能,其中包括作者提出的一个新的统计力学基准数据集,以促进GNN在物理科学中的应用。

连续空间的原始路径积分公式(左)和图的离散版本(右)之间的示意图类比

实验结果

图分类任务的性能比较

3. Convergence and Stability of Graph Convolutional Networks on Large Random Graphs

https://arxiv.org/abs/2006.01868

通过分析图卷积网络(GCNS)在随机图标准模型上的行为,研究GCNS的性质,其中节点用随机隐变量表示,边根据相似核来绘制。这使得我们可以通过考虑更自然的几何层面来克服处理离散概念的困难,例如非常大的图上的同构。

  • 文章首先研究了GCNS随着节点数的增加而收敛到连续节点的问题。得到的结果是完全非渐近的,并且对于平均度随节点数对数增长的相对稀疏图是有效的。
  • 然后,作者分析了GCNS对随机图模型的小变形的稳定性。与以前关于离散环境下稳定性的研究不同,此文的连续设置允许我们提供更直观的基于形变的度量来理解稳定性,这些度量被证明对于解释欧几里德域上卷积表示的成功是有用的。

4. Erdős Goes Neural: an Unsupervised Learning Framework for Combinatorial Optimization on Graphs

https://arxiv.org/abs/2006.10643

组合优化(CO)问题对于神经网络来说是出了名的挑战,特别是在没有标记实例的情况下。

此文针对图上的CO问题提出了一种无监督学习框架受Erdős概率方法的启发,使用神经网络来参数化集合上的概率分布

重要的是,作者证明了当网络针对适当选择的损失进行优化时,学习的分布以受控的概率包含符合组合问题约束的低成本积分解。然后对存在的概率证明进行随机化,以解码所需的解。

作者证明了该方法在获得最大团问题的有效解和执行局部图聚类方面的有效性。提出的方法在真实数据集和合成硬实例上都取得了有竞争力的结果。

5. Learning Graph Structure With A Finite-State Automaton Layer

https://arxiv.org/abs/2007.04929

基于图的神经网络模型在许多领域产生了强大的结果,部分原因是图提供了以图中节点之间的关系结构(边)的形式编码领域知识的灵活性。实际上,边既用于表示内在结构(例如,程序的抽象语法树),也用于表示有助于下游任务推理的更抽象的关系(例如,相关程序分析的结果)
这项工作研究了从内在图结构中学习导出抽象关系的问题

  • 基于它们在程序分析中的强大功能,考虑了由有限状态自动机所接受的基图上的路径定义的关系。
  • 展示了如何通过将问题放松为在基于图的 POMDP 上学习有限状态自动机策略,然后使用隐式微分来训练这些策略,从而端到端地学习这些关系。
  • 结果是一个可微图有限状态自动机(GFSA)层,它向基图添加了一种新的边类型(表示为加权邻接矩阵)。文章演示了这一层可以在网格世界图形中找到捷径,并在Python程序上重现简单的静态分析。

此外,作者将GFSA层与在变量误用程序理解任务中端到端训练的更大的基于图形的模型相结合,发现使用GFSA层比使用手工设计的语义边或其他基线方法添加学习的边类型具有更好的性能。

GNN 学习资料推荐

1. GNN 相关论文集

https://github.com/Jhy1993/Awesome-GNN-Recommendation

2. GNN 视频学习课程

https://www.epubit.com/courseDetails?id=PCC72369cd0eb9e7

图机器学习(时下炙手可热新技术/8章3大模型应用)。此课程分为入门、中级和应用3个部分,深入浅出,来讲解当今最炙手可热的图机器学习。


登录查看更多
0

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
71

数据挖掘领域的国际会议WSDM将于2020年2月3日-2月7日在美国休斯敦召开,WSDM 2020全称为第13届国际互联网搜索与数据挖掘会议(The 13th International Conference on Web Search and Data Mining, WSDM 2020)。WSDM是CCF推荐的B类国际学术会议,由SIGIR、SIGKDD、SIGMOD和SIGWEB四个专委会协调筹办,在互联网搜索、数据挖掘领域享有较高学术声誉。这次会议共收到来自615篇长文投稿,仅有91篇长文被录用,录用率约15%。

为此小编特意整理了近期五篇图神经网络(GNN)相关的接收论文,让大家先睹为快。

1. A Structural Graph Representation Learning Framework

作者:Ryan A. Rossi, Nesreen K. Ahmed, Eunyee Koh, Sungchul Kim, Anup Rao and Yasin Abbasi-Yadkori;

摘要:许多基于图的机器学习任务的成功在很大程度上取决于从图数据中学习到的适当表示。大多数工作都集中在于学习保留邻近性的节点嵌入,而不是保留节点之间结构相似性的基于结构的嵌入。这些方法无法捕获对基于结构的应用程序(如web日志中的visitor stitching)至关重要的高阶结构依赖和连接模式。在这项工作中,我们阐述了高阶网络表示学习,并提出了一个称为HONE的通用框架,用于通过节点邻域中的子图模式(network motifs, graphlet orbits/positions)从网络中学习这种结构性节点嵌入。HONE引入了一种通用的diffusion机制和一种节省空间的方法,该方法避免了使用k-step线性算子来显式构造k-step motif-based矩阵。此外,HONE被证明是快速和有效的,最坏情况下的时间复杂度几乎是线性的。实验结果表明,该算法能有效地处理大量的网络日志数据,包括链接预测和visitor stitching。

网址http://ryanrossi.com/pubs/WSDM20-structural-node-embedding-framework.pdf

2. Initialization for Network Embedding: A Graph Partition Approach

作者:Wenqing Lin, Feng He, Faqiang Zhang, Xu Cheng and Hongyun Cai;

摘要:网络嵌入已经在文献中得到了深入的研究,并广泛用于各种应用中,如链接预测和节点分类。尽管先前的工作集中在新算法的设计上或针对各种问题设置进行了量身定制,但常常忽略了学习过程中对初始化策略的讨论。在这项工作中,我们解决了这个重要的网络嵌入初始化问题,它可以显著地提高算法的有效性和效率。具体来说,我们首先利用graph partition技术将图划分为几个不相交的子集,然后基于这些partition构造一个abstract graph。我们通过计算abstract graph上的网络嵌入,得到图中每个节点的嵌入初始化,abstract graph上的网络嵌入比输入图小得多,然后将嵌入传播到输入图的节点中。通过对各种数据集的大量实验,我们证明了我们的初始化技术显著提高了最先进算法在链接预测和节点分类方面的性能,分别提高了7.76%和8.74%。此外,我们证明了初始化技术至少减少了20%的运行时间。

网址https://arxiv.org/abs/1908.10697

3. Dynamic graph representation learning via self-attention networks

作者:Aravind Sankar, Yanhong Wu, Liang Gou, Wei Zhang and Hao Yang;

摘要:学习图中节点的潜在表示是一项重要且普遍存在的任务,在链接预测、节点分类和图可视化等领域有着广泛的应用。以往的图表示学习方法主要集中在静态图上,而现实世界中的很多图都是动态的、随时间变化的。在这篇论文中,我们提出了Dynamic Self-Attention Network (DySAT),这是一种新型的神经架构,它操作在动态图上,并学习节点表示,以捕捉结构特性和时间演化模式。具体来说,DySAT通过在两个维度(结构邻域和时间动态)上联合使用self-attention层来计算节点表示。我们对两类图进行了链接预测实验:通信网络和二分评级网络。我们的实验结果表明,DySAT在几种不同的最先进的图嵌入baseline上有显著的性能提升。

网址https://arxiv.org/abs/1812.09430

https://www.zhuanzhi.ai/paper/55d2d91d5aca95983842deb7c7138252

4. Relation Learning on Social Networks with Multi-Modal Graph Edge Variational Autoencoders

作者:Carl Yang, Jieyu Zhang, Haonan Wang, Sha Li, Myungwan Kim, MaŠ Walker, Yiou Xiao and Jiawei Han;

摘要:尽管节点语义已在社交网络中得到了广泛的探索,但对边缘语义即社会关系的研究很少受到关注。理想的边缘语义不仅应该显示两个用户是连接的,而且还应该说明他么为什么彼此认识以及共享什么。然而,由于嘈杂的多模态信号和有限的用户生成的ground-truth标签,社交网络中的关系往往很难分析。

在这项工作中,我们的目标是开发一个统一的且有原则的框架,通过在有噪声和不完整数据存在的情况下整合多模态信号,将用户关系描述为社交网络中的边缘语义。我们的框架对于半监督或无监督的情况也是灵活的。具体地说,我们假定每个用户链接下的多个关系的潜在分布,并使用多模态图边缘变分自动编码器来学习它们。我们用一个图卷积网络对网络数据进行编码,用多个重构网络对任意信号进行解码。在两个公开的DBLP author network和两个internal LinkedIn member network上的大量实验和案例研究证明了我们提出的模型的优越性和有效性。

网址https://arxiv.org/abs/1911.05465

5. Robust Graph Neural Network Against Poisoning Attacks via Transfer Learning

作者:Xianfeng Tang, Yandong Li, Yiwei Sun, Huaxiu Yao, Prasenjit Mitra and Suhang Wang;

摘要:图神经网络(GNNs)有着广泛的应用。然而,他们在对抗攻击的鲁棒性方面是不行的。先前的研究表明,对图拓扑或节点特征使用不明显的修改会大大降低GNN的性能。设计强大的图神经网络以防止poisoning attack是一项非常具有挑战性的工作。现有工作的目标是仅使用poisoned图来减少adversarial edge的负面影响,这是次优的,因为它们无法区分adversarial edge和normal edge。另一方面,来自与目标poisoned图类似领域的clean图在现实世界中通常是可用的。通过扰动这些clean图,我们创建了监督知识来训练检测adversarial edge的能力,从而提高了GNN的鲁棒性。然而,现有的工作忽略了这种clean图的潜力。为此,我们研究了一个新的问题,通过研究clean图来提高GNNs对poisoning attack的鲁棒性。具体而言,我们提出了PA-GNN,它基于一种惩罚性聚合机制,通过分配较低的注意力系数来直接限制adversarial edge的负面影响。为了优化一个poisoned图的PA-GNN,我们设计了一种meta-optimization算法,训练PA-GNN使用clean图和其adversarial图惩罚扰动,并将这种能力迁移到poisoned图上,以提高PA-GNN的鲁棒性。在四个真实数据集上的实验结果证明了PA-GNN对图数据poisoning attack的鲁棒性。

网址https://arxiv.org/abs/1908.07558

论文链接:https://pan.baidu.com/s/1DbS8KgreKx1AtUsZV2OgQw 提取码:uzby

成为VIP会员查看完整内容
0
39

1、Graph Convolutional Networks using Heat Kernel for Semi-supervised Learning

作者:Bingbing Xu , Huawei Shen , Qi Cao , Keting Cen and Xueqi Cheng;

摘要:图卷积网络在图结构数据的半监督学习中取得了显著的成功。基于图的半监督学习的关键是捕捉由图结构施加于节点上的标签或特征的平滑性。以往的方法,包括spectral方法和spatial方法,都致力于将图卷积定义为相邻节点上的加权平均,然后学习图卷积核,利用平滑度来提高基于图的半监督学习的性能。一个开放的挑战是如何确定合适的邻域来反映图结构中表现出来的平滑相关信息。在本文中,我们提出了GraphHeat,利用heat kernel来增强低频滤波器,并在图上的信号变化中增强平滑性。GraphHeat利用热扩散下目标节点的局部结构灵活地确定其相邻节点,而不受先前方法所受的顺序约束。GraphHeat在三个基准数据集(Cora、Citeseer和Pubmed)上实现了基于图的半监督分类,并取得了最先进的结果。

网址:https://www.ijcai.org/proceedings/2019/0267.pdf

2、Graph WaveNet for Deep Spatial-Temporal Graph Modeling

作者:Zonghan Wu , Shirui Pan , Guodong Long, Jing Jiang, Chengqi Zhang;

摘要:时空图(Spatial-temporal graph)建模是分析系统中各组成部分的空间关系和时间趋势的一项重要工作。假设实体之间的底层关系是预先确定的,现有的方法主要捕获固定图结构上的空间依赖关系。但是,显式图形结构(关系)不一定反映真实的依赖关系,并且由于数据中的不完整连接可能会丢失真正的关系。此外,现有的方法无法捕捉时间趋势,因为这些方法中使用的RNNs或CNNs不能捕捉long-range的时间序列。为了克服这些局限性,本文提出了一种新的图神经网络结构—Graph WaveNet,用于时空图的建模。通过开发一种新的自适应依赖矩阵,并通过节点嵌入学习,该模型可以精确地捕捉数据中隐藏的空间依赖关系。利用stacked dilated一维卷积分量,其接收域随着层数的增加呈指数增长,Graph WaveNet能够处理非常长的序列。这两个组件无缝集成在一个统一的框架中,整个框架以端到端方式学习。在METR-LA和PEMS-BAY这两个公共交通网络数据集上的实验结果表明,该算法具有优越的性能。

网址:https://www.ijcai.org/proceedings/2019/0264.pdf

3、Hierarchical Graph Convolutional Networks for Semi-supervised Node Classification

作者:Fenyu Hu, Yanqiao Zhu, Shu Wu, Liang Wang and Tieniu Tan;

摘要:图卷积网络(GCNs)已成功地应用于网络挖掘的节点分类任务中。然而,这些基于邻域聚合的模型大多比较浅显,缺乏“graph pooling”机制,无法获得足够的全局信息。为了增加感受野,我们提出了一种新的深度层次图卷积网络(H-GCN)用于半监督节点分类。H-GCN首先重复地将结构相似的节点聚合到超节点,然后将粗糙的图细化为原始图,以恢复每个节点的表示形式。该粗糙化方法不只是简单地聚合一个或两个hop的邻域信息,而是扩展了每个节点的接受域,从而获得更多的全局信息。提出的H-GCN模型在各种公共基准图数据集上表现出较强的经验性能,性能优于目前最先进的方法,在精度方面获得了高达5.9%的性能提升。此外,当只提供少量带标签的样本时,我们的模型得到了实质性的改进。

网址:https://www.zhuanzhi.ai/paper/3c03b5cfd45607aef03a199c5770f85a

4、AddGraph: Anomaly Detection in Dynamic Graph Using Attention-based Temporal GCN

作者:Li Zheng, Zhenpeng Li, Jian Li, Zhao Li and Jun Gao;

摘要:动态图中的异常检测在许多不同的应用场景中都是非常关键的,例如推荐系统,但由于异常的高灵活性和缺乏足够的标记数据,也带来了巨大的挑战。在学习异常模式时,最好考虑所有可能的提示,包括结构、内容和时间特征,而不是对部分特征使用启发式规则。在本文中,我们提出了AddGraph,一个使用extended temporal GCN(Graph Convolutional Network,图卷积网络)和注意力模型的端到端异常边缘检测框架,它可以同时捕获动态图中的长期模式和短期模式。为了解决显式标注数据不足的问题,我们采用了选择性负采样和边际损失的方法,对AddGraph进行半监督训练。我们在实际数据集上进行了大量的实验,并证明了AddGraph在异常检测方面可以明显优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0614.pdf

5、Dual Self-Paced Graph Convolutional Network: Towards Reducing Attribute Distortions Induced by Topology

作者:Liang Yang, Zhiyang Chen, Junhua Gu and Yuanfang Guo;

摘要:基于图卷积神经网络(GCNNs)的半监督节点分类的成功,归功于其拓扑上的特征平滑(传播)。然而,利用拓扑信息可能会干扰特征。这种失真将导致节点的一定量的错误分类,这可以仅用特征正确地预测。通过分析边缘在特征传播中的影响,连接具有相似特征的两个节点的简单边缘应该在训练过程中优先于根据curriculum learning的复杂边缘。为了在充分挖掘属性信息潜力的同时减少拓扑结构引起的失真,我们提出了Dual Self-Paced图卷积网络(DSP-GCN)。具体来说,在节点级self-paced learning中,将具有可信预测标签的无标签节点逐步添加到训练集中,而在边缘级self-paced learning中,在训练过程中,将边缘从简单的边缘逐渐添加到复杂的边缘到图中。这两种学习策略通过对边缘和无标签节点的选择进行耦合,实现了相互增强。在多个实际网络上进行了transductive半监督节点分类的实验结果表明,我们提出的DSP-GCN在仅使用一个图卷积层的情况下,成功地减少了拓扑引起的特征失真,同时具有较好的性能。

网址:https://www.ijcai.org/proceedings/2019/0564.pdf

6、Masked Graph Convolutional Network

作者:Liang Yang, Fan Wu, Yingkui Wang, Junhua Gu and Yuanfang Guo;

摘要:半监督分类是机器学习领域中处理结构化和非结构化数据的一项基本技术。传统的基于特征图的半监督分类方法在通常由数据特征构造的图上传播标签,而图卷积神经网络在真实图拓扑上平滑节点属性,即传播特征。本文从传播的角度对其进行了解释,并将其分为基于对称传播和基于非对称传播的方法。从传播的角度看,传统的方法和基于网络的方法都是在图上传播特定的对象。然而,与标签传播不同的是,直觉上“连接的数据样本在特征方面趋于相似”,在特征传播中仅部分有效。因此,提出了一种masked图卷积网络(Masked GCN),它只是根据一个masking indicator将一部分特征传播给邻居,这是通过联合考虑局部邻域中的特征分布和对对分类结果的影响而为每个节点学习的。在传transductive和inductive节点分类任务上的大量实验证明了该方法的优越性。

网址:https://www.ijcai.org/proceedings/2019/0565.pdf

7、Learning Image-Specific Attributes by Hyperbolic Neighborhood Graph Propagation

作者:Xiaofeng Xu, Ivor W. Tsang, Xiaofeng Cao, Ruiheng Zhang and Chuancai Liu;

摘要:特征作为视觉目标描述的一种语义表示,在各种计算机视觉任务中得到了广泛的应用。在现有的基于特征的研究中,通常采用类特定特征(class-specific attributes, CSA),这是类级别的标注,由于其对每个类的标注成本较低,而不是对每个单独的图像进行标注。然而,由于标注错误和单个图像的多样性,class-specific的特征通常是有噪声的。因此,我们希望从原始的class-specific特征中获得特定于图像的特征(image-specific,ISA),即image level标注。在本文中,我们提出了通过基于图的特征传播来学习image-specific的特征。考虑到双曲几何的内在属性,其距离呈指数扩展,构造双曲线邻域图(HNG)来表征样本之间的关系。基于HNG,我们定义了每个样本的邻域一致性,以识别不一致的样本。然后,根据HNG中不一致的样本的邻居对其进行细化。在5个基准数据集上的大量实验表明,在zero-shot目标分类任务中,学习的image-specific的特征明显优于原始的class-specific的特征。

网址:https://www.ijcai.org/proceedings/2019/0554.pdf

成为VIP会员查看完整内容
0
38

1、 Adversarial Graph Embedding for Ensemble Clustering

作者:Zhiqiang Tao , Hongfu Liu , Jun Li , ZhaowenWang and Yun Fu;

摘要:Ensemble Clustering通常通过图分区方法将基本分区集成到共识分区(consensus partition)中,但这种方法存在两个局限性: 1) 它忽略了重用原始特征; 2)获得具有可学习图表示的共识分区(consensus partition)仍未得到充分研究。在本文中,我们提出了一种新颖的对抗图自动编码器(AGAE)模型,将集成聚类结合到深度图嵌入过程中。具体地,采用图卷积网络作为概率编码器,将特征内容信息与共识图信息进行联合集成,并使用简单的内积层作为解码器,利用编码的潜变量(即嵌入表示)重建图。此外,我们还开发了一个对抗正则化器来指导具有自适应分区依赖先验的网络训练。通过对8个实际数据集的实验,证明了AGAE在几种先进的深度嵌入和集成聚类方法上的有效性。

网址:https://www.ijcai.org/proceedings/2019/0494.pdf

2、Attributed Graph Clustering via Adaptive Graph Convolution

作者:Xiaotong Zhang, Han Liu, Qimai Li and Xiao-Ming Wu;

摘要:Attributed Graph聚类是一项具有挑战性的工作,它要求对图结构和节点属性进行联合建模。图卷积网络的研究进展表明,图卷积能够有效地将结构信息和内容信息结合起来,近年来基于图卷积的方法在一些实际属性网络上取得了良好的聚类性能。然而,对于图卷积如何影响聚类性能以及如何正确地使用它来优化不同图的性能,人们的了解有限。现有的方法本质上是利用固定低阶的图卷积,只考虑每个节点几跳内的邻居,没有充分利用节点关系,忽略了图的多样性。本文提出了一种自适应图卷积方法,利用高阶图卷积捕获全局聚类结构,并自适应地为不同的图选择合适的顺序。通过对基准数据集的理论分析和大量实验,验证了该方法的有效性。实验结果表明,该方法与现有的方法相比具有较好的优越性。

网址:https://www.zhuanzhi.ai/paper/bae18963457b08322d58e01c90e8e467

3、Dynamic Hypergraph Neural Networks

作者:Jianwen Jiang , Yuxuan Wei , Yifan Feng , Jingxuan Cao and Yue Gao;

摘要:近年来,基于图/超图(graph/hypergraph)的深度学习方法引起了研究者的广泛关注。这些深度学习方法以图/超图结构作为模型的先验知识。然而,隐藏的重要关系并没有直接表现在内在结构中。为了解决这个问题,我们提出了一个动态超图神经网络框架(DHGNN),它由两个模块的堆叠层组成:动态超图构造(DHG)和超图卷积(HGC)。考虑到最初构造的超图可能不适合表示数据,DHG模块在每一层上动态更新超图结构。然后引入超图卷积对超图结构中的高阶数据关系进行编码。HGC模块包括两个阶段:顶点卷积和超边界卷积,它们分别用于聚合顶点和超边界之间的特征。我们已经在标准数据集、Cora引文网络和微博数据集上评估了我们的方法。我们的方法优于最先进的方法。通过更多的实验验证了该方法对不同数据分布的有效性和鲁棒性。

网址:https://www.ijcai.org/proceedings/2019/0366.pdf

4、Exploiting Interaction Links for Node Classification with Deep Graph Neural Networks

作者:Hogun Park and Jennifer Neville;

摘要:节点分类是关系机器学习中的一个重要问题。然而,在图边表示实体间交互的场景中(例如,随着时间的推移),大多数当前方法要么将交互信息汇总为链接权重,要么聚合链接以生成静态图。在本文中,我们提出了一种神经网络结构,它可以同时捕获时间和静态交互模式,我们称之为Temporal-Static-Graph-Net(TSGNet)。我们的主要观点是,利用静态邻居编码器(可以学习聚合邻居模式)和基于图神经网络的递归单元(可以捕获复杂的交互模式),可以提高节点分类的性能。在我们对节点分类任务的实验中,与最先进的方法相比,TSGNet取得了显著的进步——与四个真实网络和一个合成数据集中的最佳竞争模型相比,TSGNet的分类错误减少了24%,平均减少了10%。

网址:https://www.ijcai.org/proceedings/2019/0447.pdf

5、Fine-grained Event Categorization with Heterogeneous Graph Convolutional Networks

作者:Hao Peng, Jianxin Li, Qiran Gong, Yangqiu Song, Yuanxing Ning, Kunfeng Lai and Philip S. Yu;

摘要:事件在现实世界中实时发生,可以是涉及多个人和物体的计划和组织场合。社交媒体平台发布了大量包含公共事件和综合话题的文本消息。然而,由于文本中事件元素的异构性以及显式和隐式的社交网络结构,挖掘社会事件是一项具有挑战性的工作。本文设计了一个事件元模式来表征社会事件的语义关联,并构建了一个基于事件的异构信息网络(HIN),该网络融合了外部知识库中的信息,提出了一种基于对偶流行度图卷积网络(PP-GCN)的细粒度社会事件分类模型。我们提出了一种基于事件间社会事件相似度(KIES)的知识元路径实例,并建立了一个加权邻域矩阵作为PP-GCN模型的输入。通过对真实数据收集的综合实验,比较各种社会事件检测和聚类任务。实验结果表明,我们提出的框架优于其他可选的社会事件分类技术。

网址:https://www.zhuanzhi.ai/paper/65dbfd1c2b65d01b2db1b66a3b4efdb6

6、Graph Contextualized Self-Attention Network for Session-based Recommendation

作者:Chengfeng Xu, Pengpeng Zhao, Yanchi Liu, Victor S. Sheng, Jiajie Xu, Fuzhen Zhuang, Junhua Fang and Xiaofang Zhou;

摘要:基于会话的推荐旨在预测用户基于匿名会话的下一步行动,是许多在线服务(比如电子商务,媒体流)中的关键任务。近年来,在不使用递归网络和卷积网络的情况下,自注意力网络(SAN)在各种序列建模任务中取得了显著的成功。然而,SAN缺乏存在于相邻商品上的本地依赖关系,并且限制了其学习序列中商品的上下文表示的能力。本文提出了一种利用图神经网络和自注意力机制的图上下文自注意力模型(GC-SAN),用于基于会话的推荐。在GC-SAN中,我们动态地为会话序列构造一个图结构,并通过图神经网络(GNN)捕获丰富的局部依赖关系。然后,每个会话通过应用自注意力机制学习长期依赖关系。最后,每个会话都表示为全局首选项和当前会话兴趣的线性组合。对两个真实数据集的大量实验表明,GC-SAN始终优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0547.pdf

7、Graph Convolutional Network Hashing for Cross-Modal Retrieval

作者:Ruiqing Xu , Chao Li , Junchi Yan , Cheng Deng and Xianglong Liu;

摘要:基于深度网络的跨模态检索近年来取得了显著的进展。然而,弥补模态差异,进一步提高检索精度仍然是一个关键的瓶颈。本文提出了一种图卷积哈希(GCH)方法,该方法通过关联图学习模态统一的二进制码。一个端到端深度体系结构由三个主要组件构成:语义编码模块、两个特征编码网络和一个图卷积网络(GCN)。我们设计了一个语义编码器作为教师模块来指导特征编码过程,即学生模块,用于语义信息的挖掘。此外,利用GCN研究数据点之间的内在相似性结构,有助于产生有区别的哈希码。在三个基准数据集上的大量实验表明,所提出的GCH方法优于最先进的方法。

网址:https://www.ijcai.org/proceedings/2019/0138.pdf

成为VIP会员查看完整内容
0
54

1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者:Ryoma Sato, Makoto Yamada, Hisashi Kashima;

摘要:本文从理论的角度研究了图神经网络(GNNs)在学习组合问题近似算法中的作用。为此,我们首先建立了一个新的GNN类,它可以严格地解决比现有GNN更广泛的问题。然后,我们弥合了GNN理论和分布式局部算法理论之间的差距,从理论上证明了最强大的GNN可以学习最小支配集问题的近似算法和具有一些近似比的最小顶点覆盖问题比率,并且没有GNN可以执行比这些比率更好。本文首次阐明了组合问题中GNN的近似比。此外,我们还证明了在每个节点特征上添加着色或弱着色可以提高这些近似比。这表明预处理和特征工程在理论上增强了模型的能力。

网址:https://www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616

2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者:Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要:图结构数据在现实世界中是丰富的。在不同的图类型中,有向无环图(DAG)是机器学习研究人员特别感兴趣的,因为许多机器学习模型都是通过DAG上的计算来实现的,包括神经网络和贝叶斯网络。本文研究了DAG的深度生成模型,提出了一种新的DAG变分自编码器(D-VAE)。为了将DAG编码到潜在空间中,我们利用了图神经网络。我们提出了一个异步消息传递方案,它允许在DAG上编码计算,而不是使用现有的同步消息传递方案来编码局部图结构。通过神经结构搜索和贝叶斯网络结构学习两项任务验证了该方法的有效性。实验表明,该模型不仅生成了新颖有效的DAG,还可以生成平滑的潜在空间,有助于通过贝叶斯优化搜索具有更好性能的DAG。

网址:https://www.zhuanzhi.ai/paper/80f4d50cc2b619ff8317a9e56f8a47c0

3、End to end learning and optimization on graphs

作者:Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要:在实际应用中,图的学习和优化问题常常结合在一起。例如,我们的目标可能是对图进行集群,以便检测有意义的社区(或者解决其他常见的图优化问题,如facility location、maxcut等)。然而,图或相关属性往往只是部分观察到,引入了一些学习问题,如链接预测,必须在优化之前解决。我们提出了一种方法,将用于常见图优化问题的可微代理集成到用于链接预测等任务的机器学习模型的训练中。这允许模型特别关注下游任务,它的预测将用于该任务。实验结果表明,我们的端到端系统在实例优化任务上的性能优于将现有的链路预测方法与专家设计的图优化算法相结合的方法。

网址:https://www.zhuanzhi.ai/paper/863d6ac1bd27220c6fc1b7c2e4f17c47

4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者:Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要:虽然图内核(graph kernel,GK)易于训练并享有可证明的理论保证,但其实际性能受其表达能力的限制,因为内核函数往往依赖于图的手工组合特性。与图内核相比,图神经网络通常具有更好的实用性能,因为图神经网络使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于训练过程中存在大量的超参数,且训练过程具有非凸性,使得GNN的训练更加困难。GNN的理论保障也没有得到很好的理解。此外,GNN的表达能力随参数的数量而变化,在计算资源有限的情况下,很难充分利用GNN的表达能力。本文提出了一类新的图内核,即图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽的多层GNN。GNTK充分发挥了GNN的表现力,继承了GK的优势。从理论上讲,我们展示了GNTK可以在图上学习一类平滑函数。根据经验,我们在图分类数据集上测试GNTK并展示它们实现了强大的性能。

网址:https://www.zhuanzhi.ai/paper/e3feff32dc2f8d03c7b3d4b5beefd61d

5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者:Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要:在许多真实世界的网络数据集中,如co-authorship、co-citation、email communication等,关系是复杂的,并且超越了成对关联。超图(Hypergraph)提供了一个灵活而自然的建模工具来建模这种复杂的关系。在许多现实世界网络中,这种复杂关系的明显存在,自然会激发使用Hypergraph学习的问题。一种流行的学习范式是基于超图的半监督学习(SSL),其目标是将标签分配给超图中最初未标记的顶点。由于图卷积网络(GCN)对基于图的SSL是有效的,我们提出了HyperGCN,这是一种在超图上训练用于SSL的GCN的新方法。我们通过对真实世界超图的详细实验证明HyperGCN的有效性,并分析它何时比最先进的baseline更有效。

网址:https://www.zhuanzhi.ai/paper/8135bfbfd1bca867403e0d7711a4b5f8

6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者:Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要:从自动驾驶汽车和社交机器人的控制到安全监控,预测场景中多个交互主体的未来轨迹已成为许多不同应用领域中一个日益重要的问题。这个问题由于人类之间的社会互动以及他们与场景的身体互动而变得更加复杂。虽然现有的文献探索了其中的一些线索,但它们主要忽略了每个人未来轨迹的多模态性质。在本文中,我们提出了一个基于图的生成式对抗网络Social-BiGAT,它通过更好地建模场景中行人的社交互来生成真实的多模态轨迹预测。我们的方法是基于一个图注意力网络(GAT)学习可靠的特征表示(编码场景中人类之间的社会交互),以及一个反方向训练的循环编解码器体系结构(根据特征预测人类的路径)。我们明确地解释了预测问题的多模态性质,通过在每个场景与其潜在噪声向量之间形成一个可逆的变换,就像在Bicycle-GAN中一样。我们表明了,与现有轨迹预测基准的几个baseline的比较中,我们的框架达到了最先进的性能。

网址:https://www.zhuanzhi.ai/paper/4f454de9b5e71da16aed5a03e88d0eab

7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者:Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要:我们提出了一种可扩展的Gromov-Wasserstein learning (S-GWL) 方法,并建立了一种新的、理论支持的大规模图分析范式。该方法基于Gromov-Wasserstein discrepancy,是图上的伪度量。给定两个图,与它们的Gromov-Wasserstein discrepancy相关联的最优传输提供了节点之间的对应关系,从而实现了图的匹配。当其中一个图具有独立但自连接的节点时(即,一个断开连接的图),最优传输表明了其他图的聚类结构,实现了图的划分。利用这一概念,通过学习多观测图的Gromov-Wasserstein barycenter图,将该方法推广到多图的划分与匹配; barycenter图起到断开图的作用,因为它是学习的,所以聚类也是如此。该方法将递归K分割机制与正则化近似梯度算法相结合,对于具有V个节点和E条边的图,其时间复杂度为O(K(E+V) logk V)。据我们所知,我们的方法是第一次尝试使Gromov-Wasserstein discrepancy适用于大规模的图分析,并将图的划分和匹配统一到同一个框架中。它优于最先进的图划分和匹配方法,实现了精度和效率之间的平衡。

网址:https://www.zhuanzhi.ai/paper/e6d212914ae39ae0002acfaaae261fe5

8、Universal Invariant and Equivariant Graph Neural Networks

作者:Nicolas Keriven, Gabriel Peyré;

摘要:图神经网络(GNN)有多种形式,但应该始终是不变的(输入图节点的排列不会影响输出)或等变的(输入的排列置换输出)。本文考虑一类特殊的不变和等变网络,证明了它的一些新的普适性定理。更确切地说,我们考虑具有单个隐藏层的网络,它是通过应用等变线性算子、点态非线性算子和不变或等变线性算子形成的信道求和而得到的。最近,Maron et al. (2019b)指出,通过允许网络内部的高阶张量化,可以获得通用不变的GNN。作为第一个贡献,我们提出了这个结果的另一种证明,它依赖于实值函数代数的Stone-Weierstrass定理。我们的主要贡献是将这一结果推广到等变情况,这种情况出现在许多实际应用中,但从理论角度进行的研究较少。证明依赖于一个新的具有独立意义的广义等变函数代数Stone-Weierstrass定理。最后,与以往许多考虑固定节点数的设置不同,我们的结果表明,由一组参数定义的GNN可以很好地近似于在不同大小的图上定义的函数。

网址:https://www.zhuanzhi.ai/paper/2236e35c386d62a4df3f687ecdf8e7b5

成为VIP会员查看完整内容
0
22

【导读】自然语言处理国际顶级会议EMNLP 2019于11月3日至11月7日在中国香港举行。为了带大家领略高质量论文,专知小编特意整理了六篇EMNLP 2019GNN相关论文,并附上论文链接供参考——命名实体识别、情感分类、对话图卷积网络、数据生成文本、短文本分类、Aspect-level情感分类等。

1、A Lexicon-Based Graph Neural Network for Chinese NER

作者:Tao Gui, Yicheng Zou, Qi Zhang;

摘要:递归神经网络(RNN)用于中文命名实体识别(NER)中,能够对文字信息进行顺序跟踪,取得了很大的成功。然而,由于链式结构的特点和缺乏全局语义,基于RNN的模型容易产生歧义。本文试图通过引入一种全局语义的基于词典的图神经网络来解决这一问题,该网络利用词典知识连接字符来捕获局部成分,而全局中继节点则可以捕获全局句子语义和长距离依赖。基于字符、潜在单词和整个句子语义之间的多重交互,可以有效地解决单词歧义。在4个NER数据集的实验表明,该模型与其他基线模型相比有显著的改进。

网址:

http://qizhang.info/paper/emnlp-2019.ner.pdf

2、Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

作者:Chen Zhang, Qiuchi Li, Dawei Song;

摘要:注意机制和卷积神经网络(CNNs)由于其固有的方面和上下文词的语义对齐能力,被广泛应用于基于方面的情感分类。然而,这些模型缺乏一种机制来解释相关的句法约束和长距离的词语依赖,因此可能会错误地将句法无关的上下文词作为判断方面情绪的线索。为了解决这个问题,我们提出在句子的依存树上建立一个图卷积网络(GCN),以利用句法信息和词的依存关系。在此基础上,提出了一种新的面向方面的情感分类框架。在三个基准集合上的实验表明,我们所提出的模型比一系列最先进的模型更具有相当的有效性,并且进一步证明了图卷积结构能够恰当地捕获语法信息和长距离字的依赖关系。

网址: https://www.zhuanzhi.ai/paper/c995fe87d66236f1a22ba1c861647085

3、DialogueGCN A Graph Convolutional Neural Network for Emotion Recognition in Conversation

作者:Deepanway Ghosal, Navonil Majumder, Soujanya Poria, Niyati Chhaya, Alexander Gelbukh;

摘要:会话情感识别(ECC)由于其在医疗、教育、人力资源等多个领域的广泛应用,近年来受到了研究者的广泛关注。在本文中,我们提出了对话图卷积网络(DialogueGCN),基于图神经网络的ERC方法。我们利用对话者的自言和对话人之间的依赖关系来为情绪识别建立会话环境模型。DialogueGCN通过图形网络解决了当前基于RNN的方法中存在的上下文传播问题。我们经验表明,这种方法缓解了这样的问题,同时在一些基准的情绪分类数据集上超过了目前的状态。

网址:https://www.zhuanzhi.ai/paper/d1c2ea04a1170cd5a5541f606186a125

4、Enhancing AMR-to-Text Generation with Dual Graph Representations

作者:Leonardo F. R. Ribeiro, Claire Gardent, Iryna Gurevych;

摘要:基于图的数据生成文本,如抽象意义表示(AMR),是一个具有挑战性的任务,因为如何正确地对具有标记边的图的结构进行编码存在固有的困难。为了解决这一难题,我们提出了一种新的图-序列模型,该模型对AMR图中包含的结构信息的不同但互补的透视图进行编码。该模型学习节点的自顶向下和自下而上的并行表示,以捕获图的对比视图。我们还研究了不同节点消息传递策略的使用,使用不同的最先进的图形编码器来计算基于传入和传出透视图的节点表示。在我们的实验中,我们证明了对偶图表示法可以改进AMR到文本的生成,从而在两个AMR数据集上取得了最先进的效果。

网址: https://arxiv.org/abs/1909.00352

5、Heterogeneous Graph Attention Networks for Semi-supervised Short Text Classification

作者:Linmei Hu, Tianchi Yang, Chuan Shi, Houye Ji, Xiaoli Li ;

摘要:短文本分类在新闻和推特标记中得到了丰富而重要的应用,以帮助用户查找相关信息。由于在许多实际用例中缺乏标记的训练数据,因此迫切需要研究半监督短文本分类。现有的研究大多集中在长文本上,由于标记数据的稀疏性和局限性,在短文本上的表现不尽人意。本文提出了一种新的基于异构图神经网络的半监督短文本分类方法,该方法充分利用了标记数据少和未标记数据大的优点,实现了信息在图上的传播。特别是,我们提出了一种灵活的HIN(异构信息网络)框架,用于建模短文本,它可以集成任何类型的附加信息,并捕获它们之间的关系来解决语义稀疏性。然后,我们提出了基于节点级和类型级注意的双重注意机制的异构图注意网络(HGAT)嵌入HIN进行短文本分类。注意机制可以学习不同相邻节点的重要性,以及不同节点(信息)类型对当前节点的重要性。大量的实验结果表明,我们提出的模型在6个基准数据集上的性能显著优于最先进的方法。

网址: http://shichuan.org/doc/74.pdf

6、Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks

作者:Binxuan Huang, Kathleen M. Carley ;

摘要:Aspect-level情感分类旨在识别向上下文语句给出的aspect表达的情绪。以往的基于神经网络的方法在很大程度上忽略了句子的句法结构。在本文中,我们提出了一种新的目标依赖图注意力网络(TD-GAT)来进行方面层次的情感分类,该网络明确利用了词语之间的依赖关系。使用依赖图,它直接从一个方面目标的语法上下文传播情感特征。在我们的实验中,我们证明了我们的方法优于使用GloVe嵌入的多个基线。我们还证明了使用BERT表示可以进一步显著地提高性能。

网址:

https://www.zhuanzhi.ai/paper/f1eb3b3fe03a1b84427aaebb68021054

成为VIP会员查看完整内容
0
41
小贴士
相关VIP内容
专知会员服务
11+阅读 · 11月19日
八篇NeurIPS 2019【图神经网络(GNN)】相关论文
专知会员服务
22+阅读 · 1月10日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
41+阅读 · 2019年11月3日
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
33+阅读 · 2019年10月2日
相关论文
Optimal Transport Graph Neural Networks
Gary Bécigneul,Octavian-Eugen Ganea,Benson Chen,Regina Barzilay,Tommi Jaakkola
0+阅读 · 11月18日
Yayi Zou,Xiaoqi Lu
0+阅读 · 11月18日
Stefan Dye,Kathlén Kohn,Felix Rydell,Rainer Sinn
0+阅读 · 11月17日
Filippo Maria Bianchi,Daniele Grattarola,Cesare Alippi
14+阅读 · 6月3日
Zonghan Wu,Shirui Pan,Guodong Long,Jing Jiang,Xiaojun Chang,Chengqi Zhang
16+阅读 · 5月24日
Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,Hyunwoo J. Kim
6+阅读 · 2月5日
Ya Wang,Dongliang He,Fu Li,Xiang Long,Zhichao Zhou,Jinwen Ma,Shilei Wen
6+阅读 · 2019年11月21日
Meta-Learning with Implicit Gradients
Aravind Rajeswaran,Chelsea Finn,Sham Kakade,Sergey Levine
7+阅读 · 2019年9月10日
Meng Qu,Jian Tang
3+阅读 · 2019年6月20日
Top