【CVPR2021】利用神经网络结构比较器的对比神经网络结构搜索

神经网络搜索的关键步骤之一是评估候选网络结构的性能。现有方法要么直接在验证集上测量网络结构性能，要么学习一个预测器来估计性能。然而，这些方法要么计算成本高，要么非常不准确，这可能会严重影响搜索效率和性能。此外，由于很难在特定任务上对网络结构进行准确的性能标注，因此很难训练得到一个准确的性能预测器。在本文中，我们认为神经网络搜索可能不需要评估候选网络结构的绝对性能。相反，我们可能只需要得到一个网络结构与基线结构的相对优劣就足以进行搜索。然而，如何利用相对优劣信息作为奖励，以及如何很好地利用有限的标注网络结构数据，仍然是两个巨大的挑战。对此，我们提出了一种新型的对比神经架构搜索方法，该方法利用网络结构之间的对比结果作为奖励来进行搜索。具体而言，我们设计了一个网络结构比较器来估计候选网络结构优于基线结构的概率。此外，受课程学习启发，我们提出了一种基线结构更新方案，其可以在搜索过程中逐渐提升基线结构。我们还从理论上表明，学习网络结构比较器和直接优化网络结构间的排序是等价的。我们在三个搜索空间的进行了广泛实验，实验结果证明了我们方法较现有方法的优越性。

https://www.zhuanzhi.ai/paper/0a54d1bbf678ce4f33dc853415a33082