《神经架构搜索NAS》最新进展综述，25页pdf

神经架构搜索(NAS)自动化网络结构工程。它的目标是学习一种网络拓扑，可以在特定任务上获得最佳性能。通过将NAS的方法分解为三个组件:搜索空间、搜索算法和子模型演化策略，这篇文章回顾了许多更好、更快、更经济的自动神经结构搜索的有趣想法。

虽然大多数流行和成功的模型架构都是由人工专家设计的，但这并不意味着我们已经探索了整个网络架构空间并确定了最佳选择。如果我们采用一种系统的、自动的方式来学习高性能模型体系结构，那么我们将更有可能找到最佳的解决方案。

自动学习和演化网络拓扑并不是一个新想法(Stanley & Miikkulainen, 2002)。近年来，Zoph & Le 2017和Baker等人在2017年的开创性工作吸引了神经架构搜索(NAS)领域的大量关注，为更好、更快、更经济的NAS方法带来了许多有趣的想法。

当我开始研究NAS时，我发现Elsken等人2019年的这项调查非常有帮助。它们将NAS描述为一个由三个主要成分组成的系统，简洁明了，也被其他NAS论文广泛采用。

• 搜索空间: NAS搜索空间定义了一组操作(例如卷积、全连接、池化)以及如何将操作连接起来形成有效的网络架构。搜索空间的设计通常涉及人类的专业知识，以及不可避免的人类偏见。

  
  

• 搜索算法: NAS搜索算法对网络体系结构候选对象进行采样。它接受子模型性能指标作为奖励(例如，高精度，低延迟)，并优化生成高性能架构候选。

  
  

• 评估策略: 我们需要测量、估计或预测提出的大量子模型的性能，以获得反馈，供搜索算法学习。候选评估的过程可能非常昂贵，许多新的方法被提出来节省时间或计算资源。

图1所示：神经架构搜索(NAS)模型的三个主要组件

• 搜索空间 Search Space

• Sequential Layer-wise Operations

• Cell-based Representation

• Hierarchical Structure

• Memory-bank Representation

• 搜索算法 Search Algorithms

• Random Search

• Reinforcement Learning

• Evolutionary Algorithms

• Progressive Decision Process

• Gradient descent

• 评价策略 Evaluation Strategy

• Training from Scratch

• Proxy Task Performance

• Parameter Sharing

• Prediction-Based

• One-Shot Approach: Search + Evaluation

• What’s the Future?

• Appendix: Summary of NAS Papers

• Reference

地址：

https://lilianweng.github.io/lil-log/2020/08/06/neural-architecture-search.html

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NAS25” 可以获取《《神经架构搜索NAS》最新进展综述，25页pdf》专知下载链接索引

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程视频资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看5000+AI主题知识资料