【ICML2021】无训练神经架构搜索

手工设计深度神经网络需要花费大量的时间和精力。这促使了神经结构搜索(NAS)技术的发展，以实现这种设计的自动化。然而，NAS算法往往是缓慢和昂贵的;他们需要训练大量的候选网络，为搜索过程提供信息。如果我们能从网络的初始状态部分预测其训练的准确性，这就可以缓解。在这项工作中，我们检查了未经过训练的网络中数据点之间的激活重叠，并激励它如何能给出一个有用的衡量指标，以表明网络的训练性能。我们将这种方法整合到一个简单的算法中，该算法允许我们无需任何训练就能在单个GPU上搜索强大的网络，并在NAS-Bench-101、NAS-Bench-201、NATS-Bench和Network Design Spaces上验证其有效性。我们的方法可以很容易地与更昂贵的搜索方法相结合;我们研究了一种规则化进化搜索的简单适应。复制我们实验的代码可以在https://github.com/BayesWatch/nas-without-training上找到。

https://www.zhuanzhi.ai/paper/d285ad674ffd1ea0882baac1f1cf5437