自监督学习的若干基本范式初探

该报告将初步探讨自监督学习的三种基本范式：对比范式、掩码范式和内隐范式。对比范式的主要方法是对比学习，我们给出了对比学习有效性的理论解释，并进一步探讨了在低维表示空间进行对比学习的可行性。掩码范式的代表性方法是掩码自编码器，我们讨论了掩码策略问题，给出了多模态掩码预训练在深度补全中的应用；内隐范式的典型应用是无监督深度估计，我介绍了无监督深度估计的基本思想，探讨了无监督深度估计方法的自适应性问题。