【WWW2022】互信息压缩的紧凑图结构学习

2022 年 1 月 17 日 专知


题目:Compact Graph Structure Learning via Mutual Information Compression


作者:Nian Liu, Xiao Wang, Lingfei Wu, Yu Chen, Xiaojie Guo, Chuan Shi


https://arxiv.org/abs/2201.05540


简介:图结构学习(GSL)的目的是同时学习最优图结构以及图神经网络(GNNs)参数,可大致分为基于单视图和基于多视图两类。其中,基于多视图的GSL能从原始结构中抽取出多个基础视图,利用多方面的知识,从而来综合评估最优的最终视图。那么,如何有原则地从多个视图中评估出最优结构,如何定义“最优”的概念,尚未有理论的指导。我们认为,本质上,最优图结构应该仅包含关于下游任务中最精简的信息,不多不少,从而能对于标签做出最精确的预测。如果学到的结构吸收了很多和标签无关的信息,那它会易受到对抗攻击的影响;反之,如果它仅包含关于标签有限的信息,模型就无法支撑下游任务。总之,最优结构应该包含最小但却充分的关于标签的信息,我们称其为最小充分结构,它是有效性和鲁棒性的平衡。


然而,获得这样一个最小充分结构需要解决两个挑战:(1)如何确保最终视图的最小以及充分?为了达到充分,最终视图应该充分由标签指导,从而尽可能多地包含和标签有关的信息;为了达到最小,我们需要限制信息从基础视图向最终视图的流动。因此,为了达到最小与充分,我们需要思考基础视图、最终视图以及标签三者间的关系;(2)如何确保基础视图的有效性?作为最终视图的信息源,基础视图需要保证较高质量。一方面,基础视图同样需要包含标签的信息,从而保证最终视图的表现效果;另一方面,不同视图间应相互独立,这样能消除彼此间的冗余,为最终视图提供多方面的关于标签的知识。


为了解决上述挑战,在本文中我们通过互信息压缩来学习紧致的图结构,提出CoGSL模型。我们首先从原始结构中抽取两个基础视图作为输入,并设计视图估计器去对输入视图进行调整。基于估计后的视图,我们提出新的自适应无参聚合机制得到最终视图。之后,我们给出了“最小充分结构”的正式定义,并从理论上证明,在基础视图和最终视图的效果得到保障的前提下,我们需要同时最小化两两视图间的互信息。为了有效地评估不同视图间的互信息,我们基于InfoNCE损失设计相应的互信息估计器。最后,我们采用三折优化去训练上述框架。



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CGSI” 就可以获取【WWW2022】互信息压缩的紧凑图结构学习》专知下载链接


专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
2

相关内容

WWW2022 | 迷途知返:分布迁移下的图神经网络自训练方法
专知会员服务
16+阅读 · 2022年2月19日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
22+阅读 · 2021年10月24日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
43+阅读 · 2021年5月26日
专知会员服务
37+阅读 · 2021年4月25日
[WWW2021]图结构估计神经网络
专知会员服务
42+阅读 · 2021年3月29日
专知会员服务
29+阅读 · 2021年2月26日
CIKM'21 | 4篇图结构学习进展
图与推荐
0+阅读 · 2021年11月9日
【WWW2021】实体自适应语义依赖图立场检测
【WWW2021】图神经网络知识蒸馏框架
专知
0+阅读 · 2021年3月10日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
一文读懂图像压缩算法
七月在线实验室
15+阅读 · 2018年5月2日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Arxiv
38+阅读 · 2020年3月10日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
WWW2022 | 迷途知返:分布迁移下的图神经网络自训练方法
专知会员服务
16+阅读 · 2022年2月19日
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
22+阅读 · 2021年10月24日
专知会员服务
38+阅读 · 2021年6月13日
专知会员服务
43+阅读 · 2021年5月26日
专知会员服务
37+阅读 · 2021年4月25日
[WWW2021]图结构估计神经网络
专知会员服务
42+阅读 · 2021年3月29日
专知会员服务
29+阅读 · 2021年2月26日
相关资讯
CIKM'21 | 4篇图结构学习进展
图与推荐
0+阅读 · 2021年11月9日
【WWW2021】实体自适应语义依赖图立场检测
【WWW2021】图神经网络知识蒸馏框架
专知
0+阅读 · 2021年3月10日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
一文读懂图像压缩算法
七月在线实验室
15+阅读 · 2018年5月2日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员