【最新综述】模型压缩与加速(附论文全文下载)

2 月 14 日 专知

【导读】深度卷积神经网络(CNN)在最近的很多任务中取得了巨大的成功。然而现有深度模型计算成本过高、内存密集,阻碍了它们的部署过程,在内存资源较低的设备中存在着明显的延迟问题。因此,模型压缩成为了一个不可忽视的研究方向。


介绍:


近几年,随着深度学习的深入发展,在多个任务中达到了工业级的标准,但因为模型的复杂性等原因,难以大规模应用至生产环境,特别是那些资源受限的应用程序中。这主要是由于许多工作都依赖于具有数百万甚至数十亿的深层网络,在计算过程中,需要大量的计算资源参与。例如krizhevsky等人2012年ImageNet挑战赛中使用了6000万个参数的网络,其中包括5个卷积层和3个全连接层,从而取得了突破性的成果,但如此大的模型,在实际部署中,很难满足实时性、高效性等需求。因此,一个很自然的想法是,如何在不显著降低模型性能的情况下,来实现模型的加速与压缩。本文主要聚焦于针对CNN的模型压缩加速技术,并将这些技术大致分为4类:参数修剪与共享、低阶分解、transferred/compact卷积滤波器、知识精化。

对于每个方案,我们都提供了关于性能、相应应用程序、优点和缺点等的深入分析。最后,将对本文进行总结,讨论本课题尚存在的挑战与可能的发展方向。



【论文便捷下载】

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“SMCAD” 就可以获取《模型压缩综述》的下载链接~ 


附论文全文:


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程


登录查看更多
点赞 0
Top