自监督学习为什么需要？ICLR2021伯克利Alexei Efros教授讲述自监督学习的内在机制优势，附70页ppt

为什么要进行自监督学习? 一个常见的回答是:“因为数据标签是昂贵的。”在这次报告中，我将会提出，进行自监督学习还有其他的，也许是更根本的原因。首先，它应该允许我们摆脱自上而下的语义分类的暴力方法，迫使有意义的关联以一种自底向上的方式从原始传感器数据中自然地出现。其次，它应该允许我们抛弃固定的数据集，并实现持续的在线学习，这对现实世界的代理来说是一个更自然的设置。第三，也是最有趣的是，有可能强迫一个自监督的任务课程从第一原则中出现，即使在没有预定义的下游任务或目标的情况下，类似于进化。在这次演讲中，我将谈到这些主题来说明，自监督学习的研究才刚刚开始。