图网络中不同相邻节点的权重学习；图上的对比学习

点击上方 蓝字关注我们

Node2Seq: Towards Trainable Convolutions in

https://arxiv.org/pdf/2101.01849.pdf

用于节点特征学习的图神经网络方法，它们通常遵循邻近信息聚合方案来学习节点特征。尽管已取得了出色的性能，但仍很少探索针对不同相邻节点的权重学习。在这项工作中，我们提出了一个新颖的图网络层，称为Node2Seq，以学习具有针对不同相邻节点的可训练权重的节点嵌入。对于目标节点，我们的方法通过注意力机制对其相邻节点进行排序，然后采用一维卷积神经网络（CNN）启用用于信息聚合的显式权重。此外，我们建议基于注意力得分以自适应方式将非本地信息纳入特征学习。实验结果证明了我们提出的Node2Seq层的有效性，并表明提出的自适应非本地信息学习可以提高特征学习的性能。

Improving Graph Representation Learning by Contrastive

https://arxiv.org/pdf/2101.11525.pdf

图表示学习是在线社交网络，电子商务网络，WWW和语义网等各个领域中应用程序的一项重要任务。对于无监督的图形表示学习，许多算法（例如Node2Vec和Graph-SAGE）都使用“负采样”和/或噪声对比估计损失。这具有与对比学习相似的思想，对比学习将语义相似（正）对的节点表示相似性与否定对的节点代表相似性进行“对比”。但是，尽管对比学习取得了成功，但我们发现将这种技术直接应用于图表示学习模型（例如图卷积网络）并不总是有效。我们从理论上分析了泛化性能，并提出了一种轻量级的正规化term，该term避免了大规模的节点表示范式和它们之间的高方差，从而提高了泛化性能。我们的实验结果进一步验证了该正则项显着提高了跨不同节点相似性定义的表示质量，并且胜过了最新技术。