Neural architecture search has attracted wide attentions in both academia and industry. To accelerate it, researchers proposed weight-sharing methods which first train a super-network to reuse computation among different operators, from which exponentially many sub-networks can be sampled and efficiently evaluated. These methods enjoy great advantages in terms of computational costs, but the sampled sub-networks are not guaranteed to be estimated precisely unless an individual training process is taken. This paper owes such inaccuracy to the inevitable mismatch between assembled network layers, so that there is a random error term added to each estimation. We alleviate this issue by training a graph convolutional network to fit the performance of sampled sub-networks so that the impact of random errors becomes minimal. With this strategy, we achieve a higher rank correlation coefficient in the selected set of candidates, which consequently leads to better performance of the final architecture. In addition, our approach also enjoys the flexibility of being used under different hardware constraints, since the graph convolutional network has provided an efficient lookup table of the performance of architectures in the entire search space.


翻译:神经结构搜索吸引了学术界和工业界的广泛关注。 为了加速这项工作,研究人员提出了权重共享方法,首先训练一个超级网络,由不同操作者进行再利用计算,从中可以对许多子网络进行指数化的抽样和高效评估。这些方法在计算成本方面有很大优势,但抽样的子网络不能保证准确估算,除非采用个别培训程序。本文对组装网络层之间不可避免的不匹配存在这种不准确性,因此每个估计都添加了一个随机错误术语。我们通过培训图形革命网络来解决这个问题,以适应抽样子网络的性能,从而尽可能降低随机错误的影响。我们通过这一战略在选定的候选人中实现更高的等级相关系数,从而导致最终架构的更好性能。此外,我们的方法还具有在不同硬件限制下使用的灵活性,因为图形革命网络提供了整个搜索空间结构绩效的有效概览表。

7
下载
关闭预览

相关内容

最新《Transformers模型》教程,64页ppt
专知会员服务
274+阅读 · 2020年11月26日
一份简单《图神经网络》教程,28页ppt
专知会员服务
119+阅读 · 2020年8月2日
【IJCAJ 2020】多通道神经网络 Multi-Channel Graph Neural Networks
专知会员服务
25+阅读 · 2020年7月19日
专知会员服务
59+阅读 · 2020年3月19日
【新书】深度学习搜索,Deep Learning for Search,附327页pdf
专知会员服务
201+阅读 · 2020年1月13日
ICLR 2020会议的16篇最佳深度学习论文
AINLP
5+阅读 · 2020年5月12日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
0+阅读 · 2021年2月17日
Arxiv
18+阅读 · 2020年7月13日
Arxiv
23+阅读 · 2018年10月24日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
相关资讯
ICLR 2020会议的16篇最佳深度学习论文
AINLP
5+阅读 · 2020年5月12日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
相关论文
Top
微信扫码咨询专知VIP会员