近年来,随着深度神经网络模型性能不断刷新,模型的骨干网络参数量愈发庞大,存储和计算代价不断提高,从而导致难以部署在资源受限的嵌入式平台上。滴滴 AI Labs 与美国东北大学王言治教授研究组合作,联合提出了一种基于 AutoML 思想的自动结构化剪枝的算法框架 AutoCompress,能自动化的去寻找深度模型剪枝中的超参数,去除模型中不同层的参数冗余,替代人工设计的过程并实现了超高的压缩倍率。从而满足嵌入式端上运行深度模型的实时性能需求。

相较之前方法的局限性,该方法提出三点创新性设计:

(1)提出混合型的结构化剪枝维度; (2)采用高效强大的神经网络剪枝算法 ADMM(交替乘子优化算法)对训练过程中的正则项进行动态更新; (3)利用了增强型引导启发式搜索的方式进行行为抽样。在 CIFAR 和 ImageNet 数据集的大量测试表明 AutoCompress 的效果显著超过各种神经网络压缩方法与框架。在相同准确率下,实际参数量的压缩相对之前方法最大可以提高超 120 倍。

成为VIP会员查看完整内容
29

相关内容

模型压缩,多指AI领域,多学习生成的模型进行压缩,简化,同时又要保证一定的可靠性,便于模型在低端设备上部署。
斯坦福2020硬课《分布式算法与优化》
专知会员服务
117+阅读 · 2020年5月6日
ICCV 2019:华为、北大等首创GAN剪枝算法,线上加速 3 倍以上
GAN生成式对抗网络
9+阅读 · 2019年9月24日
已删除
将门创投
6+阅读 · 2019年6月10日
一文读懂图像压缩算法
七月在线实验室
15+阅读 · 2018年5月2日
Learning to See Through Obstructions
Arxiv
7+阅读 · 2020年4月2日
Arxiv
5+阅读 · 2019年11月22日
Arxiv
6+阅读 · 2018年8月27日
Arxiv
15+阅读 · 2018年2月4日
VIP会员
相关资讯
ICCV 2019:华为、北大等首创GAN剪枝算法,线上加速 3 倍以上
GAN生成式对抗网络
9+阅读 · 2019年9月24日
已删除
将门创投
6+阅读 · 2019年6月10日
一文读懂图像压缩算法
七月在线实验室
15+阅读 · 2018年5月2日
微信扫码咨询专知VIP会员