【CVPR2021】用随机标签的神经架构搜索

Neural Architecture Search with Random Labels 现有的主流NAS算法通过子网络在验证集上的预测性能来进行模型搜索，但是在参数共享机制下，验证集上的预测性能和模型真实性能存在较大的差异。我们首次打破了这种基于预测性能进行模型评估的范式，从模型收敛速度的角度来进行子网络评估并假设：模型收敛速度越快，其对应的预测性能越高。

基于模型收敛性框架，我们发现模型收敛性与图像真实标签无关，便进一步提出使用随机标签进行超网络训练的新NAS范式-RLNAS。RLNAS在多个数据集（NAS-Bench-201，ImageNet）以及多个搜索空间（DARTS，MobileNet-like）进行了验证，实验结果表明RLNAS仅使用随机标签搜索出来的结构便能达到现有的NAS SOTA的水平。RLNAS初听比较反直觉，但其出乎意料的好结果为NAS社区提出了一组更强的基线，同时也进一步启发了对NAS本质的思考。 https://www.zhuanzhi.ai/paper/73ff2aa2c413ba1035d0c205173ca72a