论文标题: From Canonical Correlation Analysis to Self-supervised Graph Neural Networks

论文链接: https://proceedings.neurips.cc/paper/2021/hash/00ac8ed3b4327bdd4ebbebcb2ba10a00-Abstract.html

代码链接: https://github.com/hengruizhang98/CCA-SSG

本文提出了一种简单且有效的图上的自监督表示学习方法。与流行的对比学习(contrastive learning)的方法类似,我们首先使用图上的data augmentation来生成输入图的两个视图(views). 然而,和基于样本区分(instance-level discrimination)思想的对比学习不同,我们基于典型相关分析(Canonical Correlation Analysis, CCA)的思想来优化两个view的embedding的相关程度(feature-level regularization). 我们的理论分析表明我们的方法可以被视为信息瓶颈准则(Information Bottleneck Principe)在多视图自监督表示学习(multi-view self-supervised learning)场景下的具体实现. 我们在7个节点分类数据集上的实验表明, 我们的方法能以更快的训练时间,更低的计算开销得到更为优越的性能. 下表是我们的方法与目前主流方法的一个简单对比,其中我们的方法不需要各种多余的设计以及组件,并且有着线性的时空复杂度.图片

成为VIP会员查看完整内容
11

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
【WSDM2022】基于约束聚类学习离散表示的高效密集检索
专知会员服务
26+阅读 · 2021年11月16日
专知会员服务
14+阅读 · 2021年10月15日
最新《自监督表示学习》报告,70页ppt
专知会员服务
84+阅读 · 2020年12月22日
专知会员服务
27+阅读 · 2020年12月15日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
65+阅读 · 2020年10月20日
专知会员服务
16+阅读 · 2020年10月18日
专知会员服务
44+阅读 · 2020年10月5日
【CVPR2022】视频对比学习的概率表示
专知
1+阅读 · 2022年4月12日
【NeurIPS'21】从典型相关分析到自监督图表示学习
论文笔记|使用递归GNN学习视频实例分割(一)
图与推荐
1+阅读 · 2022年1月28日
图神经网络+对比学习,下一步去哪?
图与推荐
1+阅读 · 2021年10月29日
IJCAI 2021 | 不确定性感知小样本图像分类模型,实现SOTA性能
微软研究院AI头条
0+阅读 · 2021年8月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
23+阅读 · 2018年10月24日
VIP会员
相关VIP内容
【WSDM2022】基于约束聚类学习离散表示的高效密集检索
专知会员服务
26+阅读 · 2021年11月16日
专知会员服务
14+阅读 · 2021年10月15日
最新《自监督表示学习》报告,70页ppt
专知会员服务
84+阅读 · 2020年12月22日
专知会员服务
27+阅读 · 2020年12月15日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
65+阅读 · 2020年10月20日
专知会员服务
16+阅读 · 2020年10月18日
专知会员服务
44+阅读 · 2020年10月5日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员