【AAAI2021】元标签校正的噪声标签学习

利用弱监督或有噪声的监督来构建有效的机器学习模型一直是一个重要的研究问题。由于训练深度学习模型对大规模数据集的需求越来越大，其重要性最近进一步增加。弱或嘈杂的监督可能来自多种来源，包括非专业的注释者或基于启发式或用户交互信号的自动标记。有大量的前期工作集中在利用嘈杂的标签。最值得注意的是，最近的研究显示，使用元学习实例重加权方法取得了令人印象深刻的成果，在这种方法中，元学习框架用于为嘈杂标签分配实例权重。在本文中，我们将此方法扩展为元学习框架内的标签校正问题。我们将标签校正过程视为一个元过程，并提出了一个新的基于元学习的框架，称为MLC(元标签校正)，用于有噪声标签的学习。具体来说，采用标签校正网络作为元模型，对有噪声的标签进行校正，同时对主模型进行训练，以充分利用校正后的标签。两个模型通过求解一个双层优化问题来联合训练。在图像识别和文本分类任务中，我们使用不同的标签噪声水平和类型进行了广泛的实验。我们比较重加权和修正的方法表明，修正框架解决了一些限制重加权。我们还表明，提出的MLC方法在图像和语言任务上都优于以前的方法。

https://www.microsoft.com/en-us/research/uploads/prod/2020/12/aaai2021_mlc_zheng.pdf