Designing convolutional neural networks (CNN) models for mobile devices is challenging because mobile models need to be small and fast, yet still accurate. Although significant effort has been dedicated to design and improve mobile models on all three dimensions, it is challenging to manually balance these trade-offs when there are so many architectural possibilities to consider. In this paper, we propose an automated neural architecture search approach for designing resource-constrained mobile CNN models. We propose to explicitly incorporate latency information into the main objective so that the search can identify a model that achieves a good trade-off between accuracy and latency. Unlike in previous work, where mobile latency is considered via another, often inaccurate proxy (e.g., FLOPS), in our experiments, we directly measure real-world inference latency by executing the model on a particular platform, e.g., Pixel phones. To further strike the right balance between flexibility and search space size, we propose a novel factorized hierarchical search space that permits layer diversity throughout the network. Experimental results show that our approach consistently outperforms state-of-the-art mobile CNN models across multiple vision tasks. On the ImageNet classification task, our model achieves 74.0% top-1 accuracy with 76ms latency on a Pixel phone, which is 1.5x faster than MobileNetV2 (Sandler et al. 2018) and 2.4x faster than NASNet (Zoph et al. 2018) with the same top-1 accuracy. On the COCO object detection task, our model family achieves both higher mAP quality and lower latency than MobileNets.


翻译:设计移动设备同生神经网络模型(CNN)具有挑战性,因为移动模型需要小而快速,但仍然准确。尽管在设计和改进所有三个层面的移动模型方面已经付出了巨大的努力,但当有如此众多的建筑可能性需要考虑时,手工平衡这些权衡是具有挑战性的。在本文件中,我们提议为设计资源限制的移动CNN模型采用自动神经结构搜索方法。我们提议在主要目标中明确纳入潜伏信息,以便搜索能够找到一个在精确度和延缓度之间实现良好权衡的模型。与以往的工作不同,在以往的工作中,通过另一个往往不准确的代理(如FLOPS)来考虑移动内嵌模型,我们在实验中直接测量真实世界的推导力,方法是在特定平台上(如Pixel电话)执行模型。为了进一步在灵活性和搜索空间大小之间取得正确的平衡,我们提议建立一个新的因数级搜索空间模型空间,允许在整个网络中实现分层多样性。实验结果显示,我们的方法始终优于S-Art-al-ality liental liveral listal listal lifalalal ex lax salal ex lax sal lax) lax lax sal lax sal lax sal lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax lax

4
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
专知会员服务
59+阅读 · 2020年3月19日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
重磅!MobileNetV3 来了!
计算机视觉life
4+阅读 · 2019年5月11日
AutoML与轻量模型大列表
专知
8+阅读 · 2019年4月29日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
3+阅读 · 2018年6月24日
VIP会员
相关VIP内容
专知会员服务
59+阅读 · 2020年3月19日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
重磅!MobileNetV3 来了!
计算机视觉life
4+阅读 · 2019年5月11日
AutoML与轻量模型大列表
专知
8+阅读 · 2019年4月29日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Top
微信扫码咨询专知VIP会员