【导读】机器学习顶会 NeurIPS 2020, 是人工智能领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。据官方统计,今年NeurIPS 2020 共收到论文投稿 9454 篇,接收 1900 篇(其中 oral 论文 105 篇、spotlight 论文 280 篇),论文接收率为 20.1%。近期,所有Paper List 放出,图机器学习(Graph machine learning)依然十分火热,澳大利亚莫纳什大学潘世瑞(Shirui Pan)老师和其学生(Yixin Liu)整理出NeurIPS 2020图机器学习相关的总结论文《Graph Machine Learning: NeurIPS 2020 Papers》,其中显示大概有80多篇图网络相关论文被大会接收,主要包括:图神经网络(GNNS)的改进、对抗攻击与防御、图自监督学习、可扩展图学习、时空/动态图、图上的应用等方向。

NeurIPS 2020 Accepted Papers : https://neurips.cc/Conferences/2020/AcceptedPapersInitial

潘世瑞(Shirui Pan) 老师主页: https://shiruipan.github.io/ https://shiruipan.github.io/post/NIPS_2020_GML.pdf

图神经网络的改进【30篇】 (IMPROVEMENT OF GRAPH NEURAL NETWORKS (GNNS) )

1.克服过平滑(Overcoming Over-smoothness) 【3篇】

Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks

Optimization and Generalization Analysis of Transduction through Gradient Boosting and Application to Multi-scale Graph Neural Networks

Towards Deeper Graph Neural Networks with Differentiable Group Normalization

2. 图池化(Graph Pooling)【4篇】

Graph Cross Networks with Vertex Infomax Pooling

Rethinking pooling in graph neural networks

DiffGCN: Graph Convolutional Networks via Differential Operators and Algebraic Multi-grid Pooling

Path Integral Based Convolution and Pooling for Graph Neural Networks

3.图结构学习(Graph Structure Learning)【2篇】

Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings

Variational Inference for Graph Convolutional Networks in the Absence of Graph Data and Adversarial Settings

丨tips:以上两篇论文都与图攻击/健壮性有关

4. 对GCN的解释(Explainers for GNNs)【2篇】

Parameterized Explainer for Graph Neural Network

PGM-Explainer: Probabilistic Graphical Model Explanations for Graph Neural Networks

5. 其他(Others )【19篇】

Factorizable Graph Convolutional Networks

Factor Graph Neural Networks

Building powerful and equivariant graph neural networks with message-passing

Graphon Neural Networks and the Transferability of Graph Neural Networks

Principal Neighbourhood Aggregation for Graph Nets

Implicit Graph Neural Networks

Natural Graph Networks

Unsupervised Joint k-node Graph Representations with Compositional Energy-Based Models

Can Graph Neural Networks Count Substructures?

How hard is to distinguish graphs with graph neural networks?

Graph Random Neural Networks for Semi-Supervised Learning on Graphs

Graph Stochastic Neural Networks for Semi-supervised Learning

Random Walk Graph Neural Networks

Dirichlet Graph Variational Autoencoder

Convergence and Stability of Graph Convolutional Networks on Large Random Graphs

Design Space for Graph Neural Networks

Graph Geometry Interaction Learning

Attribution for Graph Neural Networks

Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs

对抗性攻击与防御【5篇】

(ADVERSARIAL ATTACK & DEFENSE )

Adversarial Attack on Graph Neural Networks with Limited Node Access

GNNGuard: Defending Graph Neural Networks against Adversarial Attacks

Certified Robustness of Graph Convolution Networks for Graph Classification under Topological Attacks

Adversarial Attacks on Deep Graph Matching

Reliable Graph Neural Networks via Robust Location Estimation

图自监督学习【3篇】

(GRAPH SELF-SUPERVISED LEARNING)

Self-supervised Auxiliary Learning with Meta-paths for Heterogeneous Graphs

GROVER: Self-Supervised Message Passing Transformer on Large-scale Molecular Graphs

Pre-Training Graph Neural Networks: A Contrastive Learning Framework with Augmentations

可扩展图学习【3篇】

(SCALABLE GRAPH LEARNING)

Bandit Samplers for Training Graph Neural Networks

GCOMB: Learning Budget-constrained Combinatorial Algorithms over Billion-sized Graphs

Scalable Graph Neural Networks via Bidirectional Propagation

时空/动态/流图【4篇】

(SPATIAL-TEMPORAL / DYNAMIC / STREAMING GRAPH)

Pointer Graph Networks

Adaptive Graph Convolutional Recurrent Network for Traffic Forecasting

Adaptive Shrinkage Estimation for Streaming Graphs

Spectral Temporal Graph Neural Network for Multivariate Time-series Forecasting

GNNs的应用【15篇】

(APPLICATION OF GNNS)

1. GNNs ×图相关任务(GNNs × Graph-related Tasks)【3篇】

Graduated Assignment for Joint Multi-Graph Matching and Clustering with Application to Unsupervised Graph Matching Network Learning

On the equivalence of molecular graph convolution and molecular wave function with poor basis set

Towards Scale-Invariant Graph-related Problem Solving by Iterative Homogeneous GNNs

2. GNNs × 计算机视觉(GNNs × CV) 【3篇】

Learning Physical Graph Representations from Visual Scenes

Multimodal Graph Networks for Compositional Generalization in Visual Question Answering

GPS-Net: Graph-based Photometric Stereo Network

3. GNNs × 自然语言处理(GNNs × NLP)【4篇】

Learning Graph Structure with A Finite-State Automaton Layer

Strongly Incremental Constituency Parsing with Graph Neural Networks

Learning to Execute Programs with Instruction Pointer Attention Graph Neural Networks

Deep Relational Topic Modeling via Graph Poisson Gamma Belief Network

4. GNNs ×强化学习(GNNs × RL)【3篇】

Reward Propagation Using Graph Convolutional Networks

Graph Policy Network for Transferable Active Learning on Graphs

Can Q-Learning with Graph Networks Learn a Generalizable Branching Heuristic for a SAT Solver?

5. GNNs ×其他(GNNs × Others)【2篇】

Generative 3D Part Assembly via Dynamic Graph Learning

Multipole Graph Neural Operator for Parametric Partial Differential Equations

其他【25篇】

(OTHERS)

  1. 图嵌入(Graph Embedding )【4篇】

Weisfeiler and Leman go sparse: Towards scalable higher-order graph embeddings

Curvature Regularization to Prevent Distortion in Graph Embedding

Handling Missing Data with Graph Representation Learning

Manifold structure in graph embeddings

  1. 知识图谱(Knowledge Graph )【3篇】

Beta Embeddings for Multi-Hop Logical Reasoning in Knowledge Graphs

Searching Recurrent Architecture for Path-based Knowledge Graph Embedding

Duality-Induced Regularizer for Tensor Factorization Based Knowledge Graph Completion

  1. 图基准数据集(Graph Benchmark)【1篇】

Open Graph Benchmark: Datasets for Machine Learning on Graphs

  1. 图元学习(Graph Meta Learning)【2篇】

Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding

Graph Meta Learning via Local Subgraphs

  1. 社区发现(Community Detection )【2篇】

Provable Overlapping Community Detection in Weighted Graphs

Community detection in sparse time-evolving graphs with a dynamical Bethe-Hessian

  1. 图聚类(Graph Clustering)【2篇】

On the Power of Louvain for Graph Clustering

Strongly local p-norm-cut algorithms for semi-supervised learning and local graph clustering

  1. 谱聚类(Spectral Clustering)【1篇】

Higher-Order Spectral Clustering of Directed Graphs

  1. 链接预测(Link prediction)【1篇】

Learning to Extrapolate Knowledge: Transductive Few-shot Out-of-Graph Link Prediction

  1. 其他(Others indistinguishable)【9篇】

Graph Information Bottleneck

Binary Matrix Completion with Hierarchical Graph Side Information

Universal Function Approximation on Graphs

Less is More: A Deep Graph Metric Learning Perspective Using Few Proxies

COPT: Coordinated Optimal Transport on Graphs

A graph similarity for deep learning

Set2Graph: Learning Graphs From Sets

Stochastic Deep Gaussian Processes over Graphs

Uncertainty Aware Semi-Supervised Learning on Graph Data

以上来自:

https://shiruipan.github.io/post/NIPS_2020_GML.pdf

成为VIP会员查看完整内容
0
25

相关内容

图机器学习(Machine Learning on Graphs)是一项重要且普遍存在的任务,其应用范围从药物设计到社交网络中的友情推荐。这个领域的主要挑战是找到一种表示或编码图结构的方法,以便机器学习模型能够轻松地利用它。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会已于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。ICML官网公布了接受论文列表,小编发现基于Graph相关的paper依然很多,为此,上个月专知小编为大家整理了图神经网络相关的论文,这期小编继续为大家奉上ICML 2020必读的五篇图神经网络(GNN)相关论文-Part 2——贝叶斯GNN、连续GNN、Faster图嵌入、深度GCN、图Pooling、

ICML 2020 Accepted Paper: https://proceedings.icml.cc/book/2020

ICML2020GNN_Part1、KDD2020GNN_Part1、CVPR2020SGNN、CVPR2020GNN_Part2、CVPR2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN、

1. Bayesian Graph Neural Networks with Adaptive Connection Sampling

作者:Arman Hasanzadeh, Ehsan Hajiramezanali, Shahin Boluki, Mingyuan Zhou, Nick Duffifield, Krishna Narayanan, Xiaoning Qian

摘要:我们提出了一个用于图神经网络(GNNs)自适应连接采样(connection sampling)的统一框架,该框架概括了现有的用于训练GNN的随机正则化方法。该框架不仅缓解了深层GNNs的过平滑和过拟合趋势,而且使得GNNs在图分析任务中的不确定性学习成为可能。与现有的随机正则化方法那样使用固定的采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部的方式联合训练。具有自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上的消融实验结果验证了自适应学习采样率是在半监督节点分类任务中提高GNNs性能的关键,使其不容易过平滑和过拟合,具有更稳健的预测能力。

网址: https://proceedings.icml.cc/book/4229.pdf

2.Continuous Graph Neural Networks

作者:Louis-Pascal A. C. Xhonneux, Meng Qu, Jian Tang

摘要:本文建立在图神经网络与传统动力系统之间的联系之上。我们提出了连续图神经网络(Continuous Graph Neural Networks, CGNN),由于CGNN可以看作是一种特定的离散化方案,它进一步推广了现有的具有离散动力学的图神经网络。其核心思想是如何刻画节点表示的连续动力学,即节点表示的导数。受现有的基于图扩散的方法(如社会网络上的PageRank模型和流行病模型)的启发,我们将导数定义为当前节点表示、邻居表示和节点初始值的组合。我们提出并分析了图上的两种可能的动力学--包括节点表示的每一维(也称为特征通道)独立改变或者彼此交互-这两者都有理论上的合理性。所提出的连续图神经网络对过于过平滑具有较强的鲁棒性,因此可以建立更深层次的网络,从而能够捕获节点之间的长期依赖关系。在节点分类任务上的实验结果证明了我们提出的方法在与基线模型竞争上的有效性。

网址: https://proceedings.icml.cc/book/3916.pdf

3.Faster Graph Embeddings via Coarsening

作者:Matthew Fahrbach, Gramoz Goranci, Richard Peng, Sushant Sachdeva, Chi Wang

摘要:图嵌入是一种普遍适用于机器学习任务的工具,如图结构数据上的节点分类和连接预测。然而,即使我们只对相关顶点的一小部分感兴趣,计算大规模图嵌入的效率也是很低的。为了解决这个问题,我们提出了一种基于Schur补(Schur complements)的有效图粗化方法,用于计算相关顶点的嵌入。我们证明了这些嵌入被不相关顶点上通过高斯消去法得到的Schur补图精确地保存。由于计算Schur补的代价很高,我们给出了一个近似线性的时间算法,该算法在每次迭代中在相关顶点上生成一个粗化图,该粗化图在期望上与Schur补相匹配。我们在图上进行的预测任务实验表明,计算嵌入到粗化图上,而不是整个图上,在不牺牲精度的情况下,可以节省大量的时间。

网址: https://proceedings.icml.cc/book/4104.pdf

4. Simple and Deep Graph Convolutional Networks

作者:Ming Chen, Zhewei Wei, Zengfeng Huang, Bolin Ding, Yaliang Li

摘要:图卷积网络(GCNS)是一种强大的图结构数据深度学习方法。最近,GCNS及其变体在真实数据集上的各个应用领域都显示出了优异的性能。尽管取得了成功,但由于过平滑的问题,目前的大多数GCN模型都很浅。本文研究了深图卷积网络的设计与分析问题。我们提出了GCNII模型,它是对普通GCN模型的扩展,使用了两个简单而有效的技术:初始残差和恒等映射(Identity mapping)。我们提供了理论和实验证据,证明这两种技术有效地缓解了过平滑问题。我们的实验表明,深度GCNII模型在各种半监督和全监督任务上的性能优于最先进的方法。

网址: https://proceedings.icml.cc/book/3586.pdf

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连接社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一集群节点的池化操作。然而,Laplacian特征分解的代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛(continuous relaxation )公式,并训练GNN来计算最小化这一目标的聚类分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚合函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://proceedings.icml.cc/book/3494.pdf

成为VIP会员查看完整内容
0
43

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
73

【导读】计算语言学协会(the Association for Computational Linguistics, ACL)年度会议作为顶级的国际会议,在计算语言学和自然语言处理领域一直备受关注。其接收的论文覆盖了语义分析、文本挖掘、信息抽取、问答系统、机器翻译、情感分析和意见挖掘等众多自然语言处理领域的研究方向。今年,第58届计算语言学协会(the Association for Computational Linguistics, ACL)年度会议将于2020年7月5日至10日在美国华盛顿西雅图举行。受COVID-19疫情影响,ACL 2020将全部改为线上举行。本次ACL大会共提交了3429篇论文,共有571篇长论文、以及208篇短论文入选。不久之前,专知小编为大家整理了大会的图神经网络(GNN)相关论文,这期小编继续为大家奉上ACL 2020图神经网络(GNN)相关论文-Part 2供参考——多文档摘要、多粒度机器阅读理解、帖子争议检测、GAE。

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Leveraging Graph to Improve Abstractive Multi-Document Summarization

作者:Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, Junping Du

摘要:捕捉文本单元之间关系图对于从多个文档中检测显著信息和生成整体连贯的摘要有很大好处。本文提出了一种神经抽取多文档摘要(MDS)模型,该模型可以利用文档的常见图表示,如相似度图和话语图(discourse graph),来更有效地处理多个输入文档并生成摘要。我们的模型使用图对文档进行编码,以捕获跨文档关系,这对于总结长文档至关重要。我们的模型还可以利用图来指导摘要的生成过程,这有利于生成连贯而简洁的摘要。此外,预训练的语言模型可以很容易地与我们的模型相结合,进一步提高了摘要的性能。在WikiSum和MultiNews数据集上的实验结果表明,所提出的体系结构在几个强大的基线上带来了实质性的改进。

网址: https://arxiv.org/abs/2005.10043

2. Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

作者:Bo Zheng, Haoyang Wen, Yaobo Liang, Nan Duan, Wanxiang Che, Daxin Jiang, Ming Zhou, Ting Liu

摘要:“自然问题”是一种具有挑战性的新的机器阅读理解基准,其中包含两个答案:长答案(通常是一个段落)和短答案(长答案中的一个或多个实体)。尽管此基准测试的现有方法很有效,但它们在训练期间单独处理这两个子任务,忽略了它们间的依赖关系。为了解决这个问题,我们提出了一种新颖的多粒度机器阅读理解框架,该框架专注于对文档的分层性质进行建模,这些文档具有不同的粒度级别:文档、段落、句子和词。我们利用图注意力网络来获得不同层次的表示,以便它们可以同时学习。长答案和短答案可以分别从段落级表示和词级表示中提取。通过这种方式,我们可以对两个粒度的答案之间的依赖关系进行建模,以便为彼此提供证据。我们联合训练这两个子任务,实验表明,我们的方法在长答案和短答案标准上都明显优于以前的系统。

网址: https://arxiv.org/abs/2005.05806

代码链接:

https://github.com/DancingSoul/NQ_BERT-DM

3. Integrating Semantic and Structural Information with Graph Convolutional Network for Controversy Detection

作者:Lei Zhong, Juan Cao, Qiang Sheng, Junbo Guo, Ziang Wang

摘要:识别社交媒体上有争议的帖子是挖掘公众情绪、评估事件影响、缓解两极分化观点的基础任务。然而,现有的方法不能1)有效地融合来自相关帖子内容的语义信息;2)保留回复关系建模的结构信息;3)正确处理与训练集中主题不同的帖子。为了克服前两个局限性,我们提出了主题-帖子-评论图卷积网络(TPC-GCN),它综合了来自主题、帖子和评论的图结构和内容的信息,用于帖子级别的争议检测。对于第三个限制,我们将模型扩展到分离的TPC-GCN(DTPC-GCN),将主题相关和主题无关的特征分离出来,然后进行动态融合。在两个真实数据集上的大量实验表明,我们的模型优于现有的方法。结果和实例分析表明,该模型能够将语义信息和结构信息有机地结合在一起,具有较强的通用性。

网址: https://arxiv.org/abs/2005.07886

4. Knowledge Graph-Augmented Abstractive Summarization with Semantic-Driven Cloze Reward

作者:Luyang Huang, Lingfei Wu, Lu Wang

摘要:用于抽取摘要的序列到序列(sequence-to-sequence )模型已经被广泛研究,但是生成的摘要通常受到捏造的内容的影响,并且经常被发现是near-extractive的。我们认为,为了解决这些问题,摘要生成器应通过输入获取语义解释,例如通过结构化表示,以允许生成更多信息的摘要。在本文中,我们提出了一种新的抽取摘要框架--Asgard,它具有图形增强和语义驱动的特点。我们建议使用双重编码器-序列文档编码器和图形结构编码器-来保持实体的全局上下文和局部特征,并且相互补充。我们进一步设计了基于多项选择完形填空测试的奖励,以驱动模型更好地捕捉实体交互。结果表明,我们的模型在纽约时报和CNN/每日邮报的数据集上都比没有知识图作为输入的变体产生了更高的Rouge分数。与从大型预训练的语言模型中优化的系统相比,我们也获得了更好或可比的性能。评委进一步认为我们的模型输出信息更丰富,包含的不实错误更少。

网址: https://arxiv.org/abs/2005.01159

5. A Graph Auto-encoder Model of Derivational Morphology

作者:Valentin Hofmann, Hinrich Schutze, Janet B. Pierrehumberty

摘要:关于派生词的形态良好性(morphological well-formedness, MWF)建模工作在语言学中被认为是一个复杂而困难的问题,并且这方面的研究工作较少。我们提出了一个图自编码器学习嵌入以捕捉派生词中词缀和词干的兼容性信息。自编码器通过将句法和语义信息与来自心理词典的关联信息相结合,很好地模拟了英语中的MWF。

网址: http://www.phon.ox.ac.uk/jpierrehumbert/publications/Hofmann_etal_DGA_ACL2020.pdf

成为VIP会员查看完整内容
0
60

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。近期,随着会议的临近,有很多paper放出来,专知小编提前整理了WWW 2020图神经网络(GNN)比较有意思的的论文—TaxoExpan,结构深度聚类网络、MetapathGNN、对抗样本、图域自适应。

  1. TaxoExpan: Self-supervised Taxonomy Expansion with Position-Enhanced Graph Neural Network

作者:Jiaming Shen, Zhihong Shen, Chenyan Xiong, Chi Wang, Kuansan Wang, Jiawei Han

摘要:本体结构(Taxonomies)由机器可解释的语义组成,并为许多Web应用程序提供有价值的知识。例如,在线零售商(亚马逊和eBay)使用本体结构进行产品推荐,而网络搜索引擎(Google和Bing)利用本体结构来增强查询理解。当前我们在人工或半自动地构建本体结构方面已经做出了巨大的努力。然而,随着网络内容数量的快速增长,现有的本体结构无法捕捉到新兴的知识。因此,在许多应用程序中,十分需要对现有本体结构进行动态扩展。在本文中,我们研究了如何通过添加一组新的概念来扩展现有的本体结构。我们提出了一种新的自监督框架TaxoExpanTM,该框架从已有的本体结构中自动生成一组 ⟨query concept, anchor concept ⟩ 对作为训练数据。使用这样的自监督数据,TaxoExpanTM学习一个模型来预测query concept是否是 anchor concept的直接下义词。我们在TaxoExspan中提出了两种创新技术:(1)位置增强型图形神经网络,它编码现有本体结构中anchor concept的局部结构;2)噪声鲁棒性训练目标,使学习的模型能够对自监控数据中的标签噪声不敏感。在来自不同领域的三个大规模数据集上的广泛实验证明了TaxoExspan在分类系统扩展方面的有效性和高效性。

网址:https://arxiv.org/abs/2001.09522

  1. Structural Deep Clustering Network

作者:Deyu Bo, Xiao Wang, Chuan Shi, Meiqi Zhu, Emiao Lu, Peng Cui

摘要:聚类是数据分析的基本任务。近年来,深度聚类技术(deep clustering)得到了广泛的关注,它的灵感主要来自于深度学习方法。当前的深度聚类方法通常借助深度学习强大的表示能力(如自编码)来提高聚类结果,这表明学习一种有效的聚类表示是一个关键的要求。深度聚类方法的优势在于从数据本身中提取有用的表示,而不是从数据的结构中提取,这在表示学习中受到的关注较少。基于图卷积网络(GCN)在对图结构进行编码方面取得的巨大成功,我们提出了一种结构化深度聚类网络(SDCN),将结构信息集成到深度聚类中。具体来说,我们设计了一个传递算子,将自编码器学习到的表示转换到相应的GCN层,并设计了双重自监督机制来统一这两种不同的深层神经结构,指导整个模型的更新。通过这种方式,从低阶到高阶的多种数据结构自然地与自动编码器学习的多种表示相结合。在此基础上,从理论上分析了传递算子。通过使用传递操作符,GCN改进了作为高阶图正则化约束的特定于自编码的表示形式,并且自动编码器有助于缓解GCN中的过度平滑问题。通过综合实验,我们证明我们提出的模型可以持续地比最先进的技术表现得更好。

网址:

https://arxiv.org/abs/2002.01633

  1. MAGNN: Metapath Aggregated Graph Neural Network for Heterogeneous Graph Embedding

作者:Xinyu Fu, Jiani Zhang, Ziqiao Meng, Irwin King

摘要:大量真实世界的图或网络本质上是异构的,涉及节点类型和关系类型的多样性。异构图嵌入是将异构图的丰富结构和语义信息嵌入到低维节点表示中。现有的模型通常定义多个metapaths在异构图捕捉复合关系和指导邻居选择。但是,这些模型要么忽略节点内容特性,要么沿着元路径丢弃中间节点,要么只考虑一个元路径。为了解决这三个局限性,我们提出了一种新的集合图神经网络模型来提高最终性能。具体来说,MAGNN使用了三个主要组件,即,节点内容转换封装输入节点属性,元内聚合合并中间语义节点,元间聚合合并来自多个元的消息。在三个真实世界的异构图数据集上进行了大量的节点分类、节点聚类和链路预测实验,结果表明MAGNN的预测结果比最先进的基线更准确。

网址:

https://www.zhuanzhi.ai/paper/d763a3d94aebcffc20f2a4e13b7b5465

https://arxiv.org/abs/2002.01680

  1. Certified Robustness of Community Detection against Adversarial Structural Perturbation via Randomized Smoothing

作者:Jinyuan Jia, Binghui Wang, Xiaoyu Cao, Neil Zhenqiang Gong

摘要:社区发现(Community detection)在理解图结构中起着关键作用。但是,最近的一些研究表明,社区发现很容易受到对抗性结构的干扰。即通过在图中添加或删除少量选择的边,攻击者可以控制发现的社区。然而,目前还没有关于社区发现对这种对抗性结构扰动的鲁棒性的研究。为了减少这一差距,在这项工作中,我们开发了第一个经过认证的可以抵御对抗性结构扰动的社区发现的鲁棒性保证。在任意给定的社区发现方法的基础上,通过对图结构随机进行扰动,构建了一种新的平滑社区发现方法。在理论上,当攻击者添加/删除有限数量的边时,平滑社区发现方法可以将给定的任意节点集合分到相同的社区(或不同的社区)中。此外, 我们还根据经验在真实社区的多个现实图上评估了我们的方法。

网址:

https://arxiv.org/abs/2002.03421

  1. Unsupervised Domain Adaptive Graph Convolutional Networks

作者:Man Wu, Shirui Pan, Chuan Zhou, Xiaojun Chang, Xingquan Zhu

摘要:图卷积网络(GCNS)在许多与图相关的分析任务中取得了成功。然而,由于图表示学习和图结构上的域自适应方面的挑战,大多数GCN只工作在单个域(图)中,不能将知识从一个域(图)传递到其他域(图)中。本文提出了一种新的图域自适应学习方法--无监督域自适应图卷积网络(UDAGCN)。为了实现有效的图表示学习,我们首先提出了一个对偶图卷积网络组件,该组件联合利用局部一致性和全局一致性来进行特征聚合。注意力机制还用于为不同图中的每个节点产生统一表示。为了便于图之间的知识传递,我们提出了一个域自适应学习模块,将源分类器损失、域分类器损失和目标分类器损失这三个不同的损失函数作为一个整体进行优化,从而可以区分源域中的类别标签、不同领域样本和目标领域的类别标签。我们还在节点分类任务的真实数据集上的实验结果验证该方法的性能,并与最新的图神经网络算法进行了比较。

网址:

https://www.researchgate.net/publication/338844424_Unsupervised_Domain_Adaptive_Graph_Convolutional_Networks

  1. A Kernel of Truth: Determining Rumor Veracity on Twitter by Diffusion Pattern Alone

作者:Nir Rosenfeld, Aron Szanto, David C. Parkes

摘要:最近,在错误信息检测领域已经使用文本中丰富的信号以及与社交媒体上的内容相关的用户身份来进行检测。但由于文本可以被策略性地操纵,账户也可以用不同的名字重新创建,以上这些方法本质上是脆弱的。在这项工作中,我们研究了另一种更加自然与健壮的模式:信息传播的模式。仅根据未经证实的谣言在社交网络中的传播模式,就能辨别在线传播的未经证实的谣言的真实性吗?

使用图核(graph kernels )从Twitter中提取复杂的拓扑信息,我们训练了不考虑语言,用户身份和时间的准确预测模型,这首次证明了这种“sanitized”的扩散模式具有很高的准确性。 我们的结果表明,通过适当的聚集,即使在传播的早期阶段,人群的集中共享模式也可能会显示出辨别谣言真假的强有力的信号。

网址:

https://arxiv.org/abs/2002.00850

成为VIP会员查看完整内容
0
48

1、Approximation Ratios of Graph Neural Networks for Combinatorial Problems

作者:Ryoma Sato, Makoto Yamada, Hisashi Kashima;

摘要:本文从理论的角度研究了图神经网络(GNNs)在学习组合问题近似算法中的作用。为此,我们首先建立了一个新的GNN类,它可以严格地解决比现有GNN更广泛的问题。然后,我们弥合了GNN理论和分布式局部算法理论之间的差距,从理论上证明了最强大的GNN可以学习最小支配集问题的近似算法和具有一些近似比的最小顶点覆盖问题比率,并且没有GNN可以执行比这些比率更好。本文首次阐明了组合问题中GNN的近似比。此外,我们还证明了在每个节点特征上添加着色或弱着色可以提高这些近似比。这表明预处理和特征工程在理论上增强了模型的能力。

网址:https://www.zhuanzhi.ai/paper/9cad40c81920dfd71fa91e4ddf778616

2、D-VAE: A Variational Autoencoder for Directed Acyclic Graphs

作者:Muhan Zhang, Shali Jiang, Zhicheng Cui, Roman Garnett, Yixin Chen;

摘要:图结构数据在现实世界中是丰富的。在不同的图类型中,有向无环图(DAG)是机器学习研究人员特别感兴趣的,因为许多机器学习模型都是通过DAG上的计算来实现的,包括神经网络和贝叶斯网络。本文研究了DAG的深度生成模型,提出了一种新的DAG变分自编码器(D-VAE)。为了将DAG编码到潜在空间中,我们利用了图神经网络。我们提出了一个异步消息传递方案,它允许在DAG上编码计算,而不是使用现有的同步消息传递方案来编码局部图结构。通过神经结构搜索和贝叶斯网络结构学习两项任务验证了该方法的有效性。实验表明,该模型不仅生成了新颖有效的DAG,还可以生成平滑的潜在空间,有助于通过贝叶斯优化搜索具有更好性能的DAG。

网址:https://www.zhuanzhi.ai/paper/80f4d50cc2b619ff8317a9e56f8a47c0

3、End to end learning and optimization on graphs

作者:Bryan Wilder, Eric Ewing, Bistra Dilkina, Milind Tambe;

摘要:在实际应用中,图的学习和优化问题常常结合在一起。例如,我们的目标可能是对图进行集群,以便检测有意义的社区(或者解决其他常见的图优化问题,如facility location、maxcut等)。然而,图或相关属性往往只是部分观察到,引入了一些学习问题,如链接预测,必须在优化之前解决。我们提出了一种方法,将用于常见图优化问题的可微代理集成到用于链接预测等任务的机器学习模型的训练中。这允许模型特别关注下游任务,它的预测将用于该任务。实验结果表明,我们的端到端系统在实例优化任务上的性能优于将现有的链路预测方法与专家设计的图优化算法相结合的方法。

网址:https://www.zhuanzhi.ai/paper/863d6ac1bd27220c6fc1b7c2e4f17c47

4、Graph Neural Tangent Kernel: Fusing Graph Neural Networks with Graph Kernels

作者:Simon S. Du, Kangcheng Hou, Barnabás Póczos, Ruslan Salakhutdinov, Ruosong Wang, Keyulu Xu;

摘要:虽然图内核(graph kernel,GK)易于训练并享有可证明的理论保证,但其实际性能受其表达能力的限制,因为内核函数往往依赖于图的手工组合特性。与图内核相比,图神经网络通常具有更好的实用性能,因为图神经网络使用多层结构和非线性激活函数来提取图的高阶信息作为特征。然而,由于训练过程中存在大量的超参数,且训练过程具有非凸性,使得GNN的训练更加困难。GNN的理论保障也没有得到很好的理解。此外,GNN的表达能力随参数的数量而变化,在计算资源有限的情况下,很难充分利用GNN的表达能力。本文提出了一类新的图内核,即图神经切线核(GNTKs),它对应于通过梯度下降训练的无限宽的多层GNN。GNTK充分发挥了GNN的表现力,继承了GK的优势。从理论上讲,我们展示了GNTK可以在图上学习一类平滑函数。根据经验,我们在图分类数据集上测试GNTK并展示它们实现了强大的性能。

网址:https://www.zhuanzhi.ai/paper/e3feff32dc2f8d03c7b3d4b5beefd61d

5、HyperGCN: A New Method of Training Graph Convolutional Networks on Hypergraphs

作者:Naganand Yadati, Madhav Nimishakavi, Prateek Yadav, Vikram Nitin, Anand Louis, Partha Talukdar;

摘要:在许多真实世界的网络数据集中,如co-authorship、co-citation、email communication等,关系是复杂的,并且超越了成对关联。超图(Hypergraph)提供了一个灵活而自然的建模工具来建模这种复杂的关系。在许多现实世界网络中,这种复杂关系的明显存在,自然会激发使用Hypergraph学习的问题。一种流行的学习范式是基于超图的半监督学习(SSL),其目标是将标签分配给超图中最初未标记的顶点。由于图卷积网络(GCN)对基于图的SSL是有效的,我们提出了HyperGCN,这是一种在超图上训练用于SSL的GCN的新方法。我们通过对真实世界超图的详细实验证明HyperGCN的有效性,并分析它何时比最先进的baseline更有效。

网址:https://www.zhuanzhi.ai/paper/8135bfbfd1bca867403e0d7711a4b5f8

6、Social-BiGAT: Multimodal Trajectory Forecasting using Bicycle-GAN and Graph Attention Networks

作者:Vineet Kosaraju, Amir Sadeghian, Roberto Martín-Martín, Ian Reid, S. Hamid Rezatofighi, Silvio Savarese;

摘要:从自动驾驶汽车和社交机器人的控制到安全监控,预测场景中多个交互主体的未来轨迹已成为许多不同应用领域中一个日益重要的问题。这个问题由于人类之间的社会互动以及他们与场景的身体互动而变得更加复杂。虽然现有的文献探索了其中的一些线索,但它们主要忽略了每个人未来轨迹的多模态性质。在本文中,我们提出了一个基于图的生成式对抗网络Social-BiGAT,它通过更好地建模场景中行人的社交互来生成真实的多模态轨迹预测。我们的方法是基于一个图注意力网络(GAT)学习可靠的特征表示(编码场景中人类之间的社会交互),以及一个反方向训练的循环编解码器体系结构(根据特征预测人类的路径)。我们明确地解释了预测问题的多模态性质,通过在每个场景与其潜在噪声向量之间形成一个可逆的变换,就像在Bicycle-GAN中一样。我们表明了,与现有轨迹预测基准的几个baseline的比较中,我们的框架达到了最先进的性能。

网址:https://www.zhuanzhi.ai/paper/4f454de9b5e71da16aed5a03e88d0eab

7、Scalable Gromov-Wasserstein Learning for Graph Partitioning and Matching

作者:Hongteng Xu, Dixin Luo, Lawrence Carin;

摘要:我们提出了一种可扩展的Gromov-Wasserstein learning (S-GWL) 方法,并建立了一种新的、理论支持的大规模图分析范式。该方法基于Gromov-Wasserstein discrepancy,是图上的伪度量。给定两个图,与它们的Gromov-Wasserstein discrepancy相关联的最优传输提供了节点之间的对应关系,从而实现了图的匹配。当其中一个图具有独立但自连接的节点时(即,一个断开连接的图),最优传输表明了其他图的聚类结构,实现了图的划分。利用这一概念,通过学习多观测图的Gromov-Wasserstein barycenter图,将该方法推广到多图的划分与匹配; barycenter图起到断开图的作用,因为它是学习的,所以聚类也是如此。该方法将递归K分割机制与正则化近似梯度算法相结合,对于具有V个节点和E条边的图,其时间复杂度为O(K(E+V) logk V)。据我们所知,我们的方法是第一次尝试使Gromov-Wasserstein discrepancy适用于大规模的图分析,并将图的划分和匹配统一到同一个框架中。它优于最先进的图划分和匹配方法,实现了精度和效率之间的平衡。

网址:https://www.zhuanzhi.ai/paper/e6d212914ae39ae0002acfaaae261fe5

8、Universal Invariant and Equivariant Graph Neural Networks

作者:Nicolas Keriven, Gabriel Peyré;

摘要:图神经网络(GNN)有多种形式,但应该始终是不变的(输入图节点的排列不会影响输出)或等变的(输入的排列置换输出)。本文考虑一类特殊的不变和等变网络,证明了它的一些新的普适性定理。更确切地说,我们考虑具有单个隐藏层的网络,它是通过应用等变线性算子、点态非线性算子和不变或等变线性算子形成的信道求和而得到的。最近,Maron et al. (2019b)指出,通过允许网络内部的高阶张量化,可以获得通用不变的GNN。作为第一个贡献,我们提出了这个结果的另一种证明,它依赖于实值函数代数的Stone-Weierstrass定理。我们的主要贡献是将这一结果推广到等变情况,这种情况出现在许多实际应用中,但从理论角度进行的研究较少。证明依赖于一个新的具有独立意义的广义等变函数代数Stone-Weierstrass定理。最后,与以往许多考虑固定节点数的设置不同,我们的结果表明,由一组参数定义的GNN可以很好地近似于在不同大小的图上定义的函数。

网址:https://www.zhuanzhi.ai/paper/2236e35c386d62a4df3f687ecdf8e7b5

成为VIP会员查看完整内容
0
22
小贴士
相关论文
Jiarui Jin,Kounianhua Du,Weinan Zhang,Jiarui Qin,Yuchen Fang,Yong Yu,Zheng Zhang,Alexander J. Smola
0+阅读 · 11月25日
Naomichi Nakajima,Toru Ohmoto
0+阅读 · 11月23日
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
12+阅读 · 3月3日
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
7+阅读 · 2019年11月19日
Saurabh Verma,Zhi-Li Zhang
4+阅读 · 2019年9月25日
Muhan Zhang,Shali Jiang,Zhicheng Cui,Roman Garnett,Yixin Chen
6+阅读 · 2019年5月30日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
12+阅读 · 2019年3月28日
Towards Understanding Regularization in Batch Normalization
Ping Luo,Xinjiang Wang,Wenqi Shao,Zhanglin Peng
4+阅读 · 2018年9月27日
Arthur Mensch,Mathieu Blondel
55+阅读 · 2018年2月20日
Top