首发于Hello Graph
2020“Self-supervised Learning”综述——清华大学唐杰

2020“Self-supervised Learning”综述——清华大学唐杰

Self-supervised Learning: Generative or Contrastive. 2020.

论文地址:

摘要:

近十年来,深度监督学习取得了巨大的成功。然而,它依赖于手工标签的缺陷和易受攻击的弱点促使人们探索更好的解决方案。近年来,自监督学习作为一种新的学习方法,在表征学习方面取得了骄人的成绩。自监督表示学习利用输入数据本身作为监督,并且几乎有利于所有类型的下游任务。在这个调查中,我们看看新的自我监督学习方法在计算机视觉,自然语言处理,和图形学习。我们对现有的经验方法进行了全面的回顾,并根据其目的将其归纳为生成性、对比性和产生性对比(对抗性)三大类。我们进一步研究相关的理论分析工作,以提供更深入的思考自我监督学习是如何工作的。最后,我们简要讨论了自监督学习的开放问题和未来的发展方向。

另外还有两篇最近放出来的自监督学习的综述:

Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey

A survey on Semi-, Self- and Unsupervised Techniques in Image Classification

编辑于 2020-06-23 10:10