AAAI'21 | 对比自监督的图分类

2021 年 10 月 28 日 图与推荐

Contrastive Self-supervised Learning for Graph Classification

论文地址:

https://arxiv.org/pdf/2009.05923.pdf

论文来源:AAAI 2021


1.论文介绍



       

       图分类是一个重要的应用,在现实中,带标签的图数量很少,导致模型的过拟合。本文提出了两种对比自监督学习的方法来避免这种过拟合的现象。一种方法先是在无标签的数据集上做预训练,再在带标签的数据集上做微调。

另一种方法是同时进行监督的分类任务和无监督的对比学习任务。  



2.模型方法




       在对比学习之前要先对图进行数据增强,本文使用了四种方法。删除节点和边以及增加节点和边。在增加节点时,从图中选择一个强连通的子图(1,3,4),删除掉所有边,加入一个新节点(5),将新节点与子图的所有点相连。

       每次数据增强时,从操作集中随机选择一个数据增强操作,经过t步迭代,最终得到一个增强后的图。如果两个图是由同一个图增强得到的,那么这两个图的标签应该相似。本文使用了一个图嵌入模块和多层感知机来生成隐藏表示。

是一对正样本对,是负样本对的集合。损失函数为

表示余弦相似度。是温度参数。

       优化损失函数时,作者使用了MoCo的方法。一个队列中包含了一个增强后的图的集合,每次迭代将最近的一批图加入到队列中,最老的一批图出队。这些图使用动量编码器进行编码。给定一个增强后的图,如果与当前队列中的一个图来自同一个初始图,那么它们是正样本对,否则为负样本对。

       本文提出了两种方法来避免过拟合。一种方法是在无标签的数据集上做预训练,再在带标签的数据集上做微调。

另一种方法同时进行监督任务和自监督任务。

优化问题表示为

D表示训练图,L表示标签,表示编码器,分类任务和预测任务。表示分类损失,表示自监督学习损失,是参数。

       本文使用的图编码器是Hierarchical Graph Pooling with Structure Learning(HGP-SL),由图卷积和池化层构成,



3.实验结果



       

       作者在多个数据集上与现有方法进行了比较

CSSL-Freeze表示预训练后直接用到分类任务中,不进行微调。


对不同的增强操作,作者也进行了比较

CSSL-Reg方法中,不同的也会导致不同的结果

     


4.总结




       本文在图分类任务上使用了对比自监督学习的方法,提出了两种不同的方法,与现有方法相比,本文方法有效的避免了图分类过拟合的问题。


登录查看更多
8

相关内容

【AAAI 2022】 GeomGCL:用于分子性质预测的几何图对比学习
专知会员服务
23+阅读 · 2022年2月27日
【AAAI2022】跨域少样本图分类
专知会员服务
29+阅读 · 2022年1月22日
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
44+阅读 · 2020年10月5日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
技术动态 | 图对比学习的最新进展
开放知识图谱
0+阅读 · 2022年1月30日
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
ArXiv2021 | Customized Graph Neural Networks
图与推荐
1+阅读 · 2021年12月27日
图神经网络+对比学习,下一步去哪?
图与推荐
1+阅读 · 2021年10月29日
对比学习+图神经网络=更好的推荐系统?
图与推荐
0+阅读 · 2021年9月16日
对比自监督学习
深度学习自然语言处理
34+阅读 · 2020年7月15日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
13+阅读 · 2022年1月20日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
19+阅读 · 2020年7月21日
Arxiv
27+阅读 · 2020年6月19日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
【AAAI 2022】 GeomGCL:用于分子性质预测的几何图对比学习
专知会员服务
23+阅读 · 2022年2月27日
【AAAI2022】跨域少样本图分类
专知会员服务
29+阅读 · 2022年1月22日
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
44+阅读 · 2020年10月5日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
相关资讯
技术动态 | 图对比学习的最新进展
开放知识图谱
0+阅读 · 2022年1月30日
【AAAI2022】跨域少样本图分类
专知
1+阅读 · 2022年1月22日
ArXiv2021 | Customized Graph Neural Networks
图与推荐
1+阅读 · 2021年12月27日
图神经网络+对比学习,下一步去哪?
图与推荐
1+阅读 · 2021年10月29日
对比学习+图神经网络=更好的推荐系统?
图与推荐
0+阅读 · 2021年9月16日
对比自监督学习
深度学习自然语言处理
34+阅读 · 2020年7月15日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
相关论文
Arxiv
13+阅读 · 2022年1月20日
Hierarchical Graph Capsule Network
Arxiv
20+阅读 · 2020年12月16日
Directional Graph Networks
Arxiv
27+阅读 · 2020年12月10日
Arxiv
19+阅读 · 2020年7月21日
Arxiv
27+阅读 · 2020年6月19日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Arxiv
23+阅读 · 2018年10月1日
Top
微信扫码咨询专知VIP会员