近年来,监督学习设置的几个结果表明,经典的统计学习理论度量,如VC维,不能充分解释深度学习模型的性能,这促使大量工作在无限宽和迭代机制。然而,对于神经网络在监督设置之外的成功,几乎没有理论解释。本文认为,在一些分布假设下,经典学习理论测度可以充分解释图神经网络在转导环境下的泛化问题。特别是,我们提供了一个严格的分析神经网络在转导推理的背景下的性能,特别是通过分析图卷积网络的泛化性质的节点分类问题。虽然VC维在这种情况下也会导致微不足道的泛化误差边界,但我们表明,转换的Rademacher复杂性可以解释随机块模型的图卷积网络的泛化特性。我们进一步使用基于转导Rademacher复杂性的泛化误差边界来演示图卷积和网络架构在实现更小的泛化误差方面的作用,并提供关于何时图结构可以帮助学习的见解。这篇论文的发现可以重新激发人们在学习理论测量方面研究神经网络泛化的兴趣,尽管是在具体的问题上。

https://www.zhuanzhi.ai/paper/8dbc5b521467d7c686543811a6d386eb

成为VIP会员查看完整内容
25
0

相关内容

专知会员服务
16+阅读 · 2021年10月6日
专知会员服务
31+阅读 · 2021年7月17日
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
专知会员服务
17+阅读 · 2020年12月9日
【MIT-ICML2020】图神经网络的泛化与表示的局限
专知会员服务
35+阅读 · 2020年6月23日
ICML2020 图神经网络的预训练
图与推荐
9+阅读 · 2020年4月4日
图神经网络火了?谈下它的普适性与局限性
机器之心
19+阅读 · 2019年7月29日
Arxiv
9+阅读 · 2021年4月8日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
10+阅读 · 2019年1月16日
Arxiv
10+阅读 · 2018年3月23日
小贴士
微信扫码咨询专知VIP会员