【ICML2021】数据高效深度学习的自调优

学生作者：王希梅，高敬涵

https://www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1

摘要：大规模标记数据集推动深度学习获得广泛应用，但在现实场景中收集足量的标记数据往往耗时耗力。为了降低对标记数据的需求，半监督学习侧重于同时探索标记和未标记数据，而迁移学习旨在将预训练模型微调到目标数据中。然而，从头训练的半监督自训练模型容易被错误的伪标签所误导，而仅仅挖掘有限标记数据的迁移学习方法则面临模型漂移的挑战。为了实现数据高效的深度学习，本文提出的Self-Tuning方法设计了一种新的“伪标签组对比”机制，将标记和未标记数据的探索与预训练模型的迁移统一起来。在多个基准数据集中，Self-Tuning的性能取得大幅提升，例如，在标签比例为15%的Stanford Cars中，Self-Tuning相较标准fine-tuning获得了翻倍的准确率。

arxiv链接： https://www.zhuanzhi.ai/paper/2d828976f615c8c8bf691f9235b05fc1