深度神经网络模型压缩综述

近年来，随着深度学习的飞速发展，深度神经网络受到了越来越多的关注，在许多应用领域取得了显著效果。通常，在较高的计算量下，深度神经网络的学习能力随着网络层深度的增加而不断提高，因此深度神经网络在大型数据集上的表现非常卓越。然而，由于其计算量大、存储成本高、模型复杂等特性，使得深度学习无法有效地应用于轻量级移动便携设备。因此，压缩、优化深度学习模型成为目前研究的热点，当前主要的模型压缩方法有模型裁剪、轻量级网络设计、知识蒸馏、量化、体系结构搜索等。通过对以上方法的性能、优缺点和最新研究成果进行分析总结，对未来研究方向进行了展望。

成为VIP会员查看完整内容

相关内容

深度神经网络

关注 16

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

专知，提供专业可信的知识分发服务，让认知协作更快更好！

摘要: 近年来, 卷积神经网络(Convolutional neural network, CNNs)在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展, 其强大的特征学习能力引起了国内外专家学者广泛关注.然而, 由于深度卷积神经网络普遍规模庞大、计算度复杂, 限制了其在实时要求高和资源受限环境下的应用.对卷积神经网络的结构进行优化以压缩并加速现有网络有助于深度学习在更大范围的推广应用, 目前已成为深度学习社区的一个研究热点.本文整理了卷积神经网络结构优化技术的发展历史、研究现状以及典型方法, 将这些工作归纳为网络剪枝与稀疏化、张量分解、知识迁移和精细模块设计4个方面并进行了较为全面的探讨.最后, 本文对当前研究的热点与难点作了分析和总结, 并对网络结构优化领域未来的发展方向和应用前景进行了展望.

成为VIP会员查看完整内容

专知，提供专业可信的知识分发服务，让认知协作更快更好！

深度学习在很多人工智能应用领域中取得成功的关键原因在于，通过复杂的深层网络模型从海量数据中学习丰富的知识。然而，深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果，造成深度学习模型的不可解释性，从而限制了模型的实际部署。因此，亟需提高深度学习模型的可解释性，使模型透明化，以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研，从可解释性原理的角度对现有方法进行分类，并且结合可解释性方法在人工智能领域的实际应用，分析目前可解释性研究存在的问题，以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。

成为VIP会员查看完整内容

专知，提供专业可信的知识分发服务，让认知协作更快更好！

目标检测的任务是从图像中精确且高效地识别、定位出大量预定义类别的物体实例。随着深度学习的广泛应用，目标检测的精确度和效率都得到了较大提升，但基于深度学习的目标检测仍面临改进与优化主流目标检测算法的性能、提高小目标物体检测精度、实现多类别物体检测、轻量化检测模型等关键技术的挑战。针对上述挑战，本文在广泛文献调研的基础上，从双阶段、单阶段目标检测算法的改进与结合的角度分析了改进与优化主流目标检测算法的方法，从骨干网络、增加视觉感受野、特征融合、级联卷积神经网络和模型的训练方式的角度分析了提升小目标检测精度的方法，从训练方式和网络结构的角度分析了用于多类别物体检测的方法，从网络结构的角度分析了用于轻量化检测模型的方法。此外，对目标检测的通用数据集进行了详细介绍，从4个方面对该领域代表性算法的性能表现进行了对比分析，对目标检测中待解决的问题与未来研究方向做出预测和展望。目标检测研究是计算机视觉和模式识别中备受青睐的热点，仍然有更多高精度和高效的算法相继提出，未来将朝着更多的研究方向发展。

成为VIP会员查看完整内容

专知，提供专业可信的知识分发服务，让认知协作更快更好！

摘要：卷积神经网络在广泛的应用中取得了优秀的表现，但巨大的资源消耗量使得其应用于移动端和嵌入式设备成为了挑战。为了解决此类问题，需要对网络模型在大小、速度和准确度方面做出平衡。首先，从模型是否预先训练角度，简要介绍了网络压缩与加速的两类方法——神经网络压缩和紧凑的神经网络。具体地，阐述了紧凑的神经网络设计方法，展示了其中不同运算方式，强调了这些运算特点，并根据基础运算不同，将其分为基于空间卷积的模型设计和基于移位卷积模型设计两大类，然后每类分别选取三个网络模型从基础运算单元、核心构建块和整体网络结构进行论述。同时，分析了各网络以及常规网络在ImageNet数据集上的性能。最后，总结了现有的紧凑神经网络设计技巧，并展望了未来的发展方向。

成为VIP会员查看完整内容

压缩感知 · 深度学习 · 神经网络 · 文献综述 · 卷积神经网络 ·

2019 年 10 月 12 日

深度神经网络模型压缩与加速综述

专知会员服务

专知，提供专业可信的知识分发服务，让认知协作更快更好！

A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷积神经网络(CNNs)最近在许多视觉识别任务中取得了巨大的成功。然而，现有的深度神经网络模型在计算上是昂贵的和内存密集型的，这阻碍了它们在低内存资源的设备或有严格时间延迟要求的应用程序中的部署。因此，在不显著降低模型性能的情况下，在深度网络中进行模型压缩和加速是一种自然的思路。在过去几年中，这方面取得了巨大的进展。本文综述了近年来发展起来的压缩和加速CNNs模型的先进技术。这些技术大致分为四种方案: 参数剪枝和共享、低秩因子分解、传输/紧凑卷积过滤器和知识蒸馏。首先介绍参数修剪和共享的方法，然后介绍其他技术。对于每种方案，我们都提供了关于性能、相关应用程序、优点和缺点等方面的详细分析。然后我们将讨论一些最近比较成功的方法，例如，动态容量网络和随机深度网络。然后，我们调查评估矩阵、用于评估模型性能的主要数据集和最近的基准测试工作。最后，对全文进行总结，并对今后的研究方向进行了展望。

成为VIP会员查看完整内容