硬件加速神经网络综述

2019 年 2 月 1 日 计算机研究与发展
硬件加速神经网络综述

硬件加速神经网络综述

人工神经网络目前广泛应用于人工智能的应用当中,如语音助手、图像识别和自然语言处理等.随着神经网络愈加复杂,计算量也急剧上升,传统的通用芯片在处理复杂神经网络时受到了带宽和能耗的限制,人们开始改进通用芯片的结构以支持神经网络的有效处理.

此外,研发专用加速芯片也成为另一条加速神经网络处理的途径.与通用芯片相比,它能耗更低,性能更高.

本文通过介绍目前通用芯片和专用芯片对神经网络所作的支持,了解最新神经网络硬件加速平台设计的创新点和突破口.具体来说,主要概述了神经网络的发展,讨论各类通用芯片为支持神经网络所作的改进,其中包括支持低精度运算和增加一个加速神经网络处理的计算模块.然后从运算结构和存储结构的角度出发,归纳专用芯片在体系结构上所作的定制设计,另外根据神经网络中各类数据的重用总结了各个神经网络加速器所采用的数据流.最后通过对已有加速芯片的优缺点分析,给出了神经网络加速器未来的设计趋势和挑战.

陈桂林,马胜,郭阳. 硬件加速神经网络综述[J]. 计算机研究与发展, 2019, 56(2): 240-253.
Chen Guilin, Ma Sheng, Guo Yang. Survey on Accelerating Neural Network with Hardware. Journal of Computer Research and Development, 2019, 56(2): 240-253.


登录查看更多
14

相关内容

人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。

摘要:随着日益剧增的海量数据信息的产生以及数据挖掘算法的广泛应用,人们已经进入了大数据时代.在数据规模飞速增长的前提下,如何高效稳定的存取数据信息以及加快数据挖掘算法的执行已经成为学术界和工业界急需解决的关键问题.机器学习算法作为数据挖掘应用的核心组成部分,吸引了越来越多研究者的关注,而利用新型的软硬件手段来加速机器学习算法已经成为了目前的研究热点之一.本文主要针对基于ASIC和FPGA等硬件平台设计的机器学习加速器进行了归纳与总结.首先,本文先介绍了机器学习算法,对代表性的算法进行了分析和归纳.接下来对加速器可能的着眼点进行了列举综述,以各种机器学习硬件加速器为主要实例介绍了目前主流的加速器设计和实现,并围绕加速器结构进行简单分类和总结.最后本文对机器学习算法硬件加速这个领域进行了分析,并对目前的发展趋势做出了展望.

成为VIP会员查看完整内容
0
38

题目

二值神经网络综述,Binary Neural Networks: A Survey

关键词

二进制神经网络,深度学习,模型压缩,网络量化,模型加速

简介

二进制神经网络在很大程度上节省了存储和计算成本,是一种在资源有限的设备上部署深度模型的有前途的技术。 然而,二值化不可避免地导致严重的信息丢失,甚至更糟的是,其不连续性给深度网络的优化带来了困难。 为了解决这些问题,近年来提出了多种算法,并取得了令人满意的进展。 在本文中,我们对这些算法进行了全面的概述,主要分为直接进行二值化的本机解决方案,以及使用使量化误差最小化,改善网络损耗函数和减小梯度误差等技术进行优化的解决方案。 我们还将研究二进制神经网络的其他实用方面,例如硬件友好的设计和训练技巧。 然后,我们对不同的任务进行了评估和讨论,包括图像分类,对象检测和语义分割。 最后,展望了未来研究可能面临的挑战。

作者

Haotong Qina , Ruihao Gonga , Xianglong Liu∗a,b, Xiao Baie , Jingkuan Songc , Nicu Sebe

成为VIP会员查看完整内容
0
41

题目:

Accelerator-aware neural network desing using autoML

简介:

尽管神经网络硬件加速器提供了大量的原始计算量,但必须针对底层硬件体系结构共同设计部署在其上的模型,以获得最佳的系统性能。 我们提供了一类计算机视觉模型,该模型使用硬件感知的神经体系结构搜索设计并定制运行在Edge TPU上,Edge TPU是用于低功耗,边缘设备的Google神经网络硬件加速器。 对于Coral设备中的Edge TPU,这些模型可实现实时分析图像分类性能,同时获得通常只有在数据中心运行的大型,计算繁重的模型才能看到的准确性。 在Pixel 4的Edge TPU上,这些模型与现有的SoTA移动模型相比,改善了精确度-延迟等问题。

成为VIP会员查看完整内容
0
19

A Survey of Model Compression and Acceleration for Deep Neural Networks 深度卷积神经网络(CNNs)最近在许多视觉识别任务中取得了巨大的成功。然而,现有的深度神经网络模型在计算上是昂贵的和内存密集型的,这阻碍了它们在低内存资源的设备或有严格时间延迟要求的应用程序中的部署。因此,在不显著降低模型性能的情况下,在深度网络中进行模型压缩和加速是一种自然的思路。在过去几年中,这方面取得了巨大的进展。本文综述了近年来发展起来的压缩和加速CNNs模型的先进技术。这些技术大致分为四种方案: 参数剪枝和共享、低秩因子分解、传输/紧凑卷积过滤器和知识蒸馏。首先介绍参数修剪和共享的方法,然后介绍其他技术。对于每种方案,我们都提供了关于性能、相关应用程序、优点和缺点等方面的详细分析。然后我们将讨论一些最近比较成功的方法,例如,动态容量网络和随机深度网络。然后,我们调查评估矩阵、用于评估模型性能的主要数据集和最近的基准测试工作。最后,对全文进行总结,并对今后的研究方向进行了展望。

成为VIP会员查看完整内容
0
81
小贴士
相关资讯
脉冲神经网络(SNN)概述
人工智能前沿讲习班
47+阅读 · 2019年5月30日
AI/ML/DNN硬件加速设计怎么入门?
StarryHeavensAbove
8+阅读 · 2018年12月4日
AI综述专栏 | 深度神经网络加速与压缩
人工智能前沿讲习班
27+阅读 · 2018年10月31日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
9+阅读 · 2018年9月20日
从0到1,这篇深度学习综述送给你!
机器学习算法与Python学习
20+阅读 · 2018年6月13日
前端高性能计算(4):GPU加速计算
前端大全
4+阅读 · 2017年10月26日
CNN模型压缩与加速算法综述
微信AI
4+阅读 · 2017年10月11日
干货|CNN 模型压缩与加速算法综述
全球人工智能
4+阅读 · 2017年8月26日
CNN 模型压缩与加速算法综述
机器学习研究会
11+阅读 · 2017年8月25日
相关VIP内容
专知会员服务
38+阅读 · 2020年6月20日
专知会员服务
46+阅读 · 2020年5月21日
专知会员服务
58+阅读 · 2020年4月29日
专知会员服务
95+阅读 · 2020年4月24日
专知会员服务
73+阅读 · 2020年3月12日
【Google】利用AUTOML实现加速感知神经网络设计
专知会员服务
19+阅读 · 2020年3月5日
深度神经网络模型压缩与加速综述
专知会员服务
81+阅读 · 2019年10月12日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
153+阅读 · 2019年10月12日
相关论文
Yu Cheng,Duo Wang,Pan Zhou,Tao Zhang
45+阅读 · 2019年9月8日
CornerNet-Lite: Efficient Keypoint Based Object Detection
Hei Law,Yun Teng,Olga Russakovsky,Jia Deng
3+阅读 · 2019年4月18日
Rui Zhu,Chenglin Li,Di Niu,Hongwen Zhang,Husam Kinawi
4+阅读 · 2018年12月11日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Quantization Mimic: Towards Very Tiny CNN for Object Detection
Yi Wei,Xinyu Pan,Hongwei Qin,Wanli Ouyang,Junjie Yan
5+阅读 · 2018年9月13日
Recurrent Fusion Network for Image Captioning
Wenhao Jiang,Lin Ma,Yu-Gang Jiang,Wei Liu,Tong Zhang
3+阅读 · 2018年7月31日
Mingxing Tan,Bo Chen,Ruoming Pang,Vijay Vasudevan,Quoc V. Le
4+阅读 · 2018年7月31日
Kai Yi,Zhiqiang Jian,Shitao Chen,Yuedong Yang,Nanning Zheng
3+阅读 · 2018年5月2日
Parth Shah,Vishvajit Bakarola,Supriya Pati
20+阅读 · 2018年1月17日
Jinsong Su,Shan Wu,Deyi Xiong,Yaojie Lu,Xianpei Han,Biao Zhang
5+阅读 · 2018年1月16日
Top