图表示学习(GRL)是图结构数据分析的关键。然而,现有的大多数图神经网络(gnn)严重依赖于标签信息,而在现实世界中,获取标签信息的成本通常很高。现有的无监督GRL方法存在一定的局限性,如过分依赖单调的对比性和有限的可扩展性。为了克服上述问题,根据图对比学习的最新进展,我们引入了一种新的自监督图表示学习算法,即G-Zoom,利用所提出的调整缩放方案来学习节点表示。具体来说,该机制使G-Zoom能够从多个尺度: 微观(即节点级)、中观(即邻域级)和宏观(即子图级)的图中探索和提取自监督信号。首先,我们通过两种不同的图扩充来生成输入图形的两个扩充视图。然后,我们在上述三个尺度上逐步建立三个不同的对比,从节点、相邻到子图级别,在那里我们最大化了跨尺度的图表示之间的一致性。虽然我们可以从微观和宏观角度的给定图表中提取有价值的线索,社区层面的对比为G-Zoom提供了一个可定制的选项,基于我们的调整缩放方案,手动选择一个介于微观和宏观视角之间的最佳视角,以更好地理解图数据。此外,为了使我们的模型可扩展到大的图,我们采用了一种并行的图扩散方法来解耦模型训练和图的大小。我们在真实的数据集上进行了广泛的实验,结果表明,我们提出的模型始终优于最先进的方法。

成为VIP会员查看完整内容
8

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
WSDM'22「百度」考虑行为多样性的对比元学习
专知会员服务
23+阅读 · 2022年2月21日
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
9+阅读 · 2021年10月6日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
35+阅读 · 2021年6月19日
专知会员服务
35+阅读 · 2021年5月28日
专知会员服务
39+阅读 · 2021年4月5日
专知会员服务
21+阅读 · 2021年3月25日
【WWW2021】自监督学习上下文嵌入的异构网络链接预测
专知会员服务
39+阅读 · 2021年2月10日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
WSDM2022 | 考虑行为多样性与对比元学习的推荐系统
机器学习与推荐算法
2+阅读 · 2022年2月24日
TKDE'21 | 异质图神经网络如何自动发现元路径?
图与推荐
1+阅读 · 2021年10月18日
【KDD2021】基于生成对抗图网络的不平衡网络嵌入
【WWW2021】自监督多通道超图卷积网络
专知
3+阅读 · 2021年4月5日
对比自监督学习
深度学习自然语言处理
34+阅读 · 2020年7月15日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Max-Margin Contrastive Learning
Arxiv
17+阅读 · 2021年12月21日
Meta-Learning to Cluster
Arxiv
17+阅读 · 2019年10月30日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
VIP会员
相关VIP内容
WSDM'22「百度」考虑行为多样性的对比元学习
专知会员服务
23+阅读 · 2022年2月21日
CIKM2021 | 异质图上的图神经网络对比预训练
专知会员服务
15+阅读 · 2021年11月8日
专知会员服务
9+阅读 · 2021年10月6日
专知会员服务
62+阅读 · 2021年7月25日
专知会员服务
35+阅读 · 2021年6月19日
专知会员服务
35+阅读 · 2021年5月28日
专知会员服务
39+阅读 · 2021年4月5日
专知会员服务
21+阅读 · 2021年3月25日
【WWW2021】自监督学习上下文嵌入的异构网络链接预测
专知会员服务
39+阅读 · 2021年2月10日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
相关资讯
WSDM2022 | 考虑行为多样性与对比元学习的推荐系统
机器学习与推荐算法
2+阅读 · 2022年2月24日
TKDE'21 | 异质图神经网络如何自动发现元路径?
图与推荐
1+阅读 · 2021年10月18日
【KDD2021】基于生成对抗图网络的不平衡网络嵌入
【WWW2021】自监督多通道超图卷积网络
专知
3+阅读 · 2021年4月5日
对比自监督学习
深度学习自然语言处理
34+阅读 · 2020年7月15日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员