【ICLR2021】对未标记数据进行深度网络自训练的理论分析

自训练算法训练模型以适应另一个先前学习的模型预测的伪标签，对于使用神经网络对未标记的数据进行学习非常成功。但是，当前对自训练的理论理解仅适用于线性模型。这项工作为半监督学习，无监督领域适应和无监督学习提供了深度网络自训练的统一理论分析。我们分析的核心是一个简单但现实的“扩展”假设，该假设指出，数据的低概率子集必须扩展到相对于子集而言具有较大概率的邻域。我们还假设不同类别中的示例邻域具有最小的重叠。我们证明在这些假设下，基于自训练和输入一致性正则化的人口目标最小化方法将在地面真相标签方面实现高精度。通过使用现成的泛化边界，我们立即将此结果转换为在边际和Lipschitzness中为多项式的神经网络的样本复杂度保证。我们的结果有助于解释最近提出的使用输入一致性正则化的自训练算法的经验成功。

https://www.zhuanzhi.ai/paper/dd480967a4f15984429301bca4c6cc92

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“TAST” 可以获取《【ICLR2021】对未标记数据进行深度网络自训练的理论分析》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源