CNN 模型压缩与加速算法综述

2017 年 8 月 25 日 机器学习研究会
CNN 模型压缩与加速算法综述

导语:卷积神经网络日益增长的深度和尺寸为深度学习在移动端的部署带来了巨大的挑战,CNN模型压缩与加速成为了学术界和工业界都重点关注的研究领域之一。

前言

自从AlexNet一举夺得ILSVRC 2012 ImageNet图像分类竞赛的冠军后,卷积神经网络(CNN)的热潮便席卷了整个计算机视觉领域。CNN模型火速替代了传统人工设计(hand-crafted)特征和分类器,不仅提供了一种端到端的处理方法,还大幅度地刷新了各个图像竞赛任务的精度,更甚者超越了人眼的精度(LFW人脸识别任务)。CNN模型在不断逼近计算机视觉任务的精度极限的同时,其深度和尺寸也在成倍增长。

表1 几种经典模型的尺寸,计算量和参数数量对比

Model Model Size(MB) Million
Mult-Adds
Million
Parameters
AlexNet[1] >200 720 60
VGG16[2] >500 15300 138
GoogleNet[3] ~50 1550 6.8
Inception-v3[4] 90-100 5000 23.2

随之而来的是一个很尴尬的场景:如此巨大的模型只能在有限的平台下使用,根本无法移植到移动端和嵌入式芯片当中。就算想通过网络传输,但较高的带宽占用也让很多用户望而生畏。另一方面,大尺寸的模型也对设备功耗和运行速度带来了巨大的挑战。因此这样的模型距离实用还有一段距离。

在这样的情形下,模型小型化与加速成了亟待解决的问题。其实早期就有学者提出了一系列CNN模型压缩方法,包括权值剪值(prunning)和矩阵SVD分解等,但压缩率和效率还远不能令人满意。

近年来,关于模型小型化的算法从压缩角度上可以大致分为两类:从模型权重数值角度压缩和从网络架构角度压缩。另一方面,从兼顾计算速度方面,又可以划分为:仅压缩尺寸和压缩尺寸的同时提升速度。

本文主要讨论如下几篇代表性的文章和方法,包括SqueezeNet[5]、Deep Compression[6]、XNorNet[7]、Distilling[8]、MobileNet[9]和ShuffleNet[10],也可按照上述方法进行大致分类:


转自:姜媚

登录查看更多
11

相关内容

模型压缩,多指AI领域,多学习生成的模型进行压缩,简化,同时又要保证一定的可靠性,便于模型在低端设备上部署。

A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷积神经网络(CNNs)最近在许多视觉识别任务中取得了巨大的成功。然而,现有的深度神经网络模型在计算上是昂贵的和内存密集型的,这阻碍了它们在低内存资源的设备或有严格时间延迟要求的应用程序中的部署。因此,在不显著降低模型性能的情况下,在深度网络中进行模型压缩和加速是一种自然的思路。在过去几年中,这方面取得了巨大的进展。本文综述了近年来发展起来的压缩和加速CNNs模型的先进技术。这些技术大致分为四种方案: 参数剪枝和共享、低秩因子分解、传输/紧凑卷积过滤器和知识蒸馏。首先介绍参数修剪和共享的方法,然后介绍其他技术。对于每种方案,我们都提供了关于性能、相关应用程序、优点和缺点等方面的详细分析。然后我们将讨论一些最近比较成功的方法,例如,动态容量网络和随机深度网络。然后,我们调查评估矩阵、用于评估模型性能的主要数据集和最近的基准测试工作。最后,对全文进行总结,并对今后的研究方向进行了展望。

成为VIP会员查看完整内容
0
86
小贴士
相关资讯
硬件加速神经网络综述
计算机研究与发展
14+阅读 · 2019年2月1日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
27+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
10+阅读 · 2018年9月20日
CNN模型压缩与加速算法综述
微信AI
4+阅读 · 2017年10月11日
简单聊聊压缩网络
计算机视觉战队
3+阅读 · 2017年10月4日
干货|CNN 模型压缩与加速算法综述
全球人工智能
4+阅读 · 2017年8月26日
相关VIP内容
专知会员服务
42+阅读 · 2020年6月20日
专知会员服务
47+阅读 · 2020年5月21日
专知会员服务
58+阅读 · 2020年4月29日
专知会员服务
20+阅读 · 2020年1月16日
深度神经网络模型压缩与加速综述
专知会员服务
86+阅读 · 2019年10月12日
相关论文
A survey on deep hashing for image retrieval
Xiaopeng Zhang
12+阅读 · 2020年6月10日
A Survey of Methods for Low-Power Deep Learning and Computer Vision
Abhinav Goel,Caleb Tung,Yung-Hsiang Lu,George K. Thiruvathukal
10+阅读 · 2020年3月24日
Hyper-Parameter Optimization: A Review of Algorithms and Applications
Tong Yu,Hong Zhu
12+阅读 · 2020年3月12日
Yu Cheng,Duo Wang,Pan Zhou,Tao Zhang
46+阅读 · 2019年9月8日
A Survey of the Recent Architectures of Deep Convolutional Neural Networks
Asifullah Khan,Anabia Sohail,Umme Zahoora,Aqsa Saeed Qureshi
36+阅读 · 2019年1月17日
Quantization Mimic: Towards Very Tiny CNN for Object Detection
Yi Wei,Xinyu Pan,Hongwei Qin,Wanli Ouyang,Junjie Yan
5+阅读 · 2018年9月13日
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
Ningning Ma,Xiangyu Zhang,Hai-Tao Zheng,Jian Sun
3+阅读 · 2018年7月30日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
18+阅读 · 2018年6月27日
Guoxin Cui,Jun Xu,Wei Zeng,Yanyan Lan,Jiafeng Guo,Xueqi Cheng
4+阅读 · 2018年4月22日
Stylianos I. Venieris,Alexandros Kouris,Christos-Savvas Bouganis
4+阅读 · 2018年3月15日
Top