神经架构搜索(NAS)是最近提出的一种自动设计网络架构的方法。NAS不是手动设计网络架构，而是以数据驱动的方式自动找到最佳架构。尽管NAS取得了令人印象深刻的进展，但在实践中仍远未被广泛采用为架构设计的通用范式。本文旨在开发有原则的NAS方法，可以自动化神经网络的设计，并尽可能减少人工在架构调优方面的工作。为了实现这一目标，我们专注于开发更好的搜索算法和搜索空间，这两者对NAS的性能都很重要。
在搜索算法方面，首先提出了一种基于贝叶斯优化(BO)的高效NAS框架;本文提出一种方法来学习网络体系结构域上的嵌入空间，使得为体系结构域定义一个核函数成为可能，这是将BO应用于NAS的必要组件。提出了一种邻域感知的NAS公式，以提高NAS发现的体系结构的泛化性。所提出的公式具有足够的通用性，适用于各种搜索算法，包括基于采样的算法和基于梯度的算法。
对于搜索空间，本文首先将NAS扩展到发现卷积细胞以外的注意力细胞。本文提出一种时空注意力单元的搜索空间，以注意力操作为主要构建块。所发现的注意力单元不仅优于人工设计的注意力单元，而且在不同模态、骨干或数据集上表现出很强的泛化能力。基于committee的模型(集合或级联)是高效模型的一个被忽视的设计空间。从现成的预训练模型中简单地构建committee，可以匹配或超过最先进模型的精度，同时大大提高了效率。最后，通过对不同基于激光雷达的三维目标检测算法的比较，指出了成本控制的重要性。其次，如果允许使用类似的延迟，一个通常被认为已经显著超过的简单基线在Waymo开放数据集上的性能几乎可以与最先进方法的性能相匹配。
成为VIP会员查看完整内容
Search Algorithms and Search Spaces for Neural Architecture Search
相关内容
卡耐基梅隆大学（Carnegie Mellon University）坐落在宾夕法尼亚州的匹兹堡，是一所享誉世界的私立顶级研究型大学，学校面积不大，学科门类不多，但在其所设立的几乎所有专业都居于世界领先水平。卡内基梅隆大学享誉全国的认知心理学、管理和公共关系学、写作和修辞学、应用历史学、哲学和生物科学专业。它的计算机、机器人科学、理学、美术及工业管理都是举世公认的一流专业。
Arxiv
0+阅读 · 2023年2月8日
Arxiv
0+阅读 · 2023年2月8日
Arxiv
0+阅读 · 2023年2月3日
Arxiv
12+阅读 · 2021年8月30日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2023年2月8日
Arxiv
0+阅读 · 2023年2月8日
Arxiv
0+阅读 · 2023年2月3日
Arxiv
12+阅读 · 2021年8月30日
微信扫码咨询专知VIP会员