【NeurIPS2022】基于最大熵编码的自监督学习

目前的一种主流自监督学习方法追求可以很好地迁移到下游任务的通用表示，通常通过对给定的前置任务(如实例判别)进行优化。现有的前置任务不可避免地在学习到的表示中引入了偏见，这反过来导致在各种下游任务上的迁移性能存在偏见。为了解决这一问题，我们提出了最大熵编码(Maximum Entropy Coding, MEC)，这是一个更原则性的目标，它明确优化了表示的结构，从而使学习到的表示更少偏差，从而更好地推广到不可见的下游任务。受信息论中最大熵原理的启发，假设一个可泛化的表示应该是在所有似是而非的表示中允许最大熵的表示。为了使目标端到端可训练，我们提出利用有耗数据编码中的最小编码长度作为熵的计算可处理代理，并进一步推导出允许快速计算的可扩展的目标重新表述。广泛的实验表明，MEC比之前基于特定前置任务的方法学习到更通用的表示。它在各种下游任务上始终保持最先进的性能，不仅包括ImageNet线性探测，还包括半监督分类、目标检测、实例分割和目标跟踪。有趣的是，我们表明，现有的批处理和特征自监督目标可以被视为等同于MEC的低阶近似。代码和预训练的模型可在https://github.com/xinliu20/MEC获得。

https://www.zhuanzhi.ai/paper/a95cc2e74b3544239b53a8afcd951cd5

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SMEC” 就可以获取《 【NeurIPS2022】基于最大熵编码的自监督学习》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料