几十年来,不断增长的计算能力一直是许多技术革命背后的推动力,包括最近在人工智能方面的进步。然而,由于集成电路进程规模的放缓,对于系统架构师来说,要继续满足当今应用不断增长的计算需求,他们现在必须采用具有专门加速器的异构系统。

然而,建构这些加速器系统是极其昂贵和耗时的。首先,硬件的开发周期是出了名的长,这使得它很难跟上算法的快速发展。同时,现有的编译器无法导航由新型加速器架构暴露的棘手映射空间。最后算法的设计通常没有将硬件效率作为关键指标,因此,在设计高效硬件方面提出了额外的挑战。

本文解决了联合设计和优化算法、调度和加速硬件设计的重大挑战。我们的目标是通过三管齐下的方法来推进最先进的技术: 开发从高层抽象自动生成加速器系统的方法和工具,缩短硬件开发周期; 适应机器学习和其他优化技术,以改进加速器的设计和编译流程; 以及协同设计算法和加速器,以开发更多的优化机会。

本文的目标应用领域是深度学习,它在计算机视觉、神经语言处理等广泛的任务中取得了前所未有的成功。随着智能设备的普及,可以预见,深度学习将成为我们日常生活中的主要计算需求。因此,本文旨在通过硬件加速进行端到端系统优化,释放前沿深度学习算法的普遍采用,改变生活的各个方面。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-202.html

成为VIP会员查看完整内容
0
23

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

在过去的几年中,深度学习和医学的交叉领域取得了快速的发展,特别是在医学图像的解译方面。在本文中,我描述了三个关键方向,为医学图像解释的深度学习技术的发展提出了挑战和机遇。首先,我讨论了专家级医学图像解译算法的发展,重点是用于低标记医学数据设置的迁移学习和自监督学习算法。其次,我讨论了高质量数据集的设计和管理以及它们在推进算法发展中的作用,重点是使用有限的手动注释的高质量标记。第三,我讨论了真实世界的评估医学图像算法的研究,系统地分析了在临床相关分布变化下的性能。总之,这篇论文总结了关键贡献和见解,在这些方向与关键应用跨医学专业。

https://searchworks.stanford.edu/view/13876519

成为VIP会员查看完整内容
0
34

基于深度强化学习的快速芯片设计图规划方法。芯片布局规划是设计计算机芯片物理布局的工程任务。尽管经过五十年的研究,芯片布局规划仍然无法实现自动化,需要物理设计工程师花费数月的精力来制作可量产的布局。本文提出一种基于深度强化学习的芯片布局规划方法,在不到六个小时的时间里,自动生成了芯片布局规划图,这些布局规划图在所有关键指标上都优于或可与人类生成的布局规划图相媲美,包括功耗、性能和芯片面积。为实现这一目标,将芯片布局规划作为一个强化学习问题,开发了一种基于边缘的图卷积神经网络架构,能学习丰富的可迁移的芯片表示。利用过去的经验,在解决新的问题实例时变得更好、更快,使芯片设计可以由比任何人类设计师更有经验的智能体来完成。该方法被用来设计Google的下一代人工智能(AI)加速器,并有可能为每一代新产品节省数千小时的人工努力。更强大的人工智能设计的硬件将推动人工智能的进步,在这两个领域之间创造一种共生关系。

https://www.nature.com/articles/s41586-021-03544-w

成为VIP会员查看完整内容
0
8

强化学习(RL)智能体需要探索他们的环境,以便通过试错学习最优策略。然而,当奖励信号稀疏,或当安全是一个关键问题和某些错误是不可接受的时候,探索是具有挑战性的。在本论文中,我们通过修改智能体解决的潜在优化问题,激励它们以更安全或更有效的方式探索,来解决深度强化学习设置中的这些挑战。

在这篇论文的第一部分,我们提出了内在动机的方法,在奖励稀少或缺乏的问题上取得进展。我们的第一种方法使用内在奖励来激励智能体访问在学习动力学模型下被认为是令人惊讶的状态,并且我们证明了这种技术比单纯探索更好。我们的第二种方法使用基于变分推理的目标,赋予个体不同的多种技能,而不使用特定任务的奖励。我们证明了这种方法,我们称为变分选择发现,可以用来学习运动行为的模拟机器人环境。

在论文的第二部分,我们重点研究了安全勘探中存在的问题。在广泛的安全强化学习研究的基础上,我们提出将约束的RL标准化为安全探索的主要形式; 然后,我们继续开发约束RL的算法和基准。我们的材料展示按时间顺序讲述了一个故事:我们首先介绍约束策略优化(Constrained Policy Optimization, CPO),这是约束深度RL的第一个算法,在每次迭代时都保证接近约束的满足。接下来,我们开发了安全健身基准,它让我们找到CPO的极限,并激励我们向不同的方向前进。最后,我们发展了PID拉格朗日方法,其中我们发现对拉格朗日原-对偶梯度基线方法进行小的修改,可以显著改善求解Safety Gym中约束RL任务的稳定性和鲁棒性。

https://www2.eecs.berkeley.edu/Pubs/TechRpts/2021/EECS-2021-34.html

成为VIP会员查看完整内容
0
26

很长一段时间以来,计算机架构和系统被优化,以使机器学习(ML)算法或模型的有效执行。现在,是时候重新考虑ML和系统之间的关系,并让ML改变计算机架构和系统的设计方式。这包含着双重意义:提高设计师的工作效率,完成良性循环。在本文中,我们对将ML应用于系统设计的工作进行了全面的回顾,这些工作可以分为两大类: 基于ML的建模,它涉及到性能指标的预测或其他一些感兴趣的标准,以及直接利用ML作为设计工具的基于ML的设计方法。对于基于ML的建模,我们讨论现有的研究基于它们的系统目标级别,从电路级别到架构/系统级别。对于基于ML的设计方法,我们遵循自底向上的路径来回顾当前的工作,包括(微)体系结构设计(内存、分支预测、NoC)、体系结构/系统和工作负载(资源分配和管理、数据中心管理和安全)之间的协调、编译器和设计自动化。我们进一步提供了未来的机遇和潜在的方向,并展望了将ML应用于计算机体系结构和系统将在社区中蓬勃发展。

https://www.zhuanzhi.ai/paper/73124e0addcfed8cc8f738faf5f8c398

机器学习(ML)已经在许多领域创造了奇迹,包括计算机视觉[81,207,213],语音识别[76,83],自然语言处理[38,146,210],药物发现[148,198],机器人[77,86,140],玩电子游戏[15,167,226],以及许多其他领域[103,128,195,206]。在某些情况下,ML能够达到或超过人类的性能。例如,在大规模ImageNet数据集上,ResNet[81]比human获得了更好的top-5错误率;AlphaGo Zero可以打败人类专业围棋选手[206];从单人游戏(如Atari[167])到多人游戏(如《星际争霸2》[226]和《Dota 2[15]》),训练人工代理玩电子游戏也取得了重大进展。

目前的ML模型大多是深度神经网络(DNNs)及其变体(如多层感知器、卷积神经网络、递归神经网络),对内存和计算资源的要求都很高。随着人们寻求更好的人工智能,有一种趋势是更大、更有表现力和更复杂的模型。随着摩尔定律带来的收益递减,这一趋势促使计算机体系结构/系统的进步,以更快、更节能的方式实现ML模型。针对ML工作负载,在不同层次的系统和体系结构设计上进行了改进。在算法层面,对ML模型进行剪枝、量化和压缩[79,92],以消除计算复杂度,提高硬件效率;在硬件层面,在内存中处理(PIM)的复兴和near-data处理(NDP)(73, 179),也出现专门的架构和加速器,从那些专门为卷积神经网络(CNN)优化(例如ShiDianNao [57], Eyeriss[31]和基本[178])那些为通用款设计加速度(例如DaDianNao [30], TPU[108],和DNPU [204]);在器件层面,将新兴的非易失性存储器技术应用于体系结构设计中,如电阻式随机存取存储器(ReRAM)[234]、相变存储器(PCM)[25]、自旋传递转矩磁性随机存取存储器(STT-MRAM)[85],将计算和内存结合在一起,提供了另一种有前景的选择(如PRIME[35]、ISAAC[200]和Resparc[7])。

在日益复杂的工作负载及其不同的性能、精度和功率目标的驱动下,设计体系结构/系统是一件不简单而费力的事情。通常,这些设计是由人类专家基于直觉和启发式做出的,这需要ML和体系结构/系统方面的专业知识,在这种情况下,特别是在更复杂的系统中,无法保证良好的可伸缩性和最佳结果。因此,对于体系结构和系统设计来说,朝着更加自动化和强大的方法发展似乎是很自然的,ML和系统设计之间的关系也正在被重新考虑。通常,架构和系统优化是为了加速ML模型的执行和提高性能,不可否认的是,ML的革命在一定程度上依赖于处理能力的提高,如更好地利用并行性、数据重用和稀疏性等。近年来,有迹象表明将ML应用于增强系统设计,具有很大的发展潜力。将ML应用于系统设计有两个意义: 1减轻人类专家手工设计系统的负担,提高设计者的工作效率; 2闭合正反馈回路,即:,架构/系统为ML,同时ML为架构/系统,形成一个良性循环,鼓励双方的改进。

一般来说,将ML应用于系统设计的现有工作分为两类。1 ML技术用于系统建模,它涉及性能指标或一些感兴趣的标准(例如功耗、延迟、吞吐量等)。在系统设计过程中,需要对系统行为进行快速、准确的预测。传统上,系统建模是通过周期精确或功能虚拟平台和指令集模拟器(ISSs)的形式来实现的(例如gem5 [18], Simics[150])。尽管这些方法可以提供准确的评估,但它们也带来了与性能建模相关的昂贵的计算成本,限制了对大规模和复杂系统的可伸缩性; 同时,长时间的模拟限制了设计师的才能,因为只能探索整个设计空间的一小部分。采用ML技术作为设计方法,直接加强架构/系统设计。ML擅长提取特性,在没有显式编程的情况下做出决策,并根据经验自动改进自身。因此,将ML技术作为设计工具,可以更主动、更智能地探索设计空间,通过更好地理解资源的复杂、非线性交互等来管理资源,从而提供真正的最优解决方案。

在本文中,我们概述了将ML应用于计算机体系结构/系统,并总结了ML技术可以解决哪些系统问题以及ML技术如何解决这些问题,如图4所示。本文还讨论了ML在系统设计中的应用所面临的挑战和前景。本文组织如下。第2节简要介绍了常用的ML技术;第3节回顾了使用ML技术进行系统建模的研究,从电路级到架构/系统级;第4节介绍了利用ML技术作为设计工具直接增强体系结构/系统设计的研究,包括(微)体系结构设计(内存、分支预测、NoC)、体系结构/系统和工作负载(资源分配和管理、数据中心管理和安全)之间的协调、编译器和设计自动化;第5节讨论了将ML应用于系统设计的挑战和未来前景,以传达设计考虑的见解;第六部分是本文的总结。

成为VIP会员查看完整内容
0
28

基于深度学习的图像处理算法研究

随着智能手机和微单相机的普及,拍照已经变成人们日常生活中不可缺少的一部分,图像也已成为人类社会的重要信息媒介。然而受到拍照环境、设备和技术的影响,图像中难免会出现退化现象,如何从图像处理的角度提升拍摄照片的质量具有重要的研究意义与应用价值。近年来,深度学习技术得到了巨大的发展,并广泛应用于图像处理领域。相对于许多传统算法,深度学习技术从海量的训练数据中学习到的先验知识具有更强的泛化能力和更复杂的参数化表达,且无需调节算法参数以适应不同的应用场景。得益于上述优势,深度学习技术已经广泛应用于图像处理领域,如何利用深度学习算法提升图像处理的效果也变成了一个重要的研究方向。

尽管深度学习技术显著促进了图像处理领域的发展,但是受限于其对训练数据的敏感性,在面对无标签、仅有弱标签或者合成伪标签的数据时,深度学习技术的优势难以充分体现。本学位论文针对以上挑战,重点研究了缺失完整数据标签的经典图像处理问题,包括图像平滑、反光去除和本征图像分解等。本文通过将上述问题抽象为对图像结构敏感的图像分解问题,将显著的目标边缘信息通过优化或者滤波的方式编码进深度学习的算法设计中。根据图像处理问题中数据标签的类型和数量不同,本文依次提出了基于无监督学习、弱监督学习和多标签联合训练的深度学习解决方案。本文的最后提出了解耦学习框架,通过对10种不同图像处理问题的联合训练,提炼出了图像处理问题的核心解空间。该算法对于理解深度学习技术在图像处理领域的应用有重要的研究价值和意义。本文的创新点和贡献包括以下几个方面:

(1) 一种基于无监督学习的空间自适应图像平滑算法

该算法通过使用卷积神经网络,以无监督的方式从无标签数据中学习图像平滑的优化过程,并实现可灵活调节的图像平滑效果。该算法提出了一个由边缘保持项和空间自适应平滑项构成的能量函数,前者用于保持重要但易破坏的图像结构,后者用于将多种形式的正则器(Lp范数)施加至图像的不同区域。由于缺乏平滑图像的真值数据,本文采用一个无监督学习的能量优化框架,用来实现多种基于图像平滑的视觉应用,譬如图像抽象化、铅笔素描、细节增强、纹理去除和基于内容的图像处理等。实验结果表明,该基于无监督学习的空间自适应图像平滑算法获得了更好的视觉结果。

(2) 一种基于弱监督学习的图像反光去除算法

该算法提出了一个多阶段卷积神经网络,用以解决图像分解领域中经典的反光去除问题。本算法框架由两个结构相似的卷积神经网络串联而成,前者预测目标图像的边缘结构,后者依据预测边缘信息的引导重建目标图像;整个过程既不需要任何人工设计,也不依赖于其他图像处理应用。通过从真实反光图像观察得到的图像亮度和结构先验,该算法设计了一种针对模糊强反光的反光图像合成算法;通过将合成数据以弱监督信号的形式融入到多阶段神经网络训练中,该算法获得了在真实反光图像上的良好泛化性能。实验结果表明,该基于弱监督学习的图像反光去除算法在不同程度的反光场景中均获得更优的视觉效果。

(3) 一种基于多标签联合训练的本征图像分解算法

本征图像分解往往存在数据集冗杂、数据标签不一致等问题。为解决该问题,本文提出了一个通用的核心神经网络,用以在不同类型的数据标签中共享本征图像形成过程的稀疏先验。该神经网络由三个不同的基础模块组成:直接本征图像估计网络、导向网络和域滤波器;其中,直接本征图像估计网络通过对本征图像的直接监督获得初始的预测结果,导向网络负责生成稀疏的反射结构先验,并引导域滤波器获得干净的反射估计。该算法设计了一个灵活的能量损失层以实现多标签数据联合训练的目的。实验结果表明,该本征图像分解算法在所有的主流基准数据集上都获得了更高的精确度。

(4) 一种基于解耦学习的实时参数化图像处理框架

传统的深度学习算法在面对不同的图像处理应用时,需要重复地训练神经网络。为了解决这个问题,该算法提出了由基础网络和权重学习网络组成的解耦学习框架,其中前者用来实现具体的图像处理应用,后者用来学习基础网络的权重。该算法通过对基础网络的结构和权重进行解耦,达到根据图像处理应用的变化实时动态调整基础网络权重的效果,并因此实现了利用单一神经网络融合多种图像处理应用的目的。实验结果表明,该解耦学习框架成功应用在10种不同的参数化图像算子中,并减少了网络参数的存储空间。

成为VIP会员查看完整内容
0
32

尽管它在机器学习中有重要的应用,非凸非凹目标的最小-最大优化仍然是难以实现的。不仅没有已知的一阶方法收敛甚至近似局部最小最大点,而且识别它们的计算复杂度也不为人所知。本文给出了非凸非凹目标和线性约束的约束最小-最优优化问题的计算复杂度,以及一阶方法的局限性。

https://arxiv.org/abs/2009.09623

成为VIP会员查看完整内容
0
22

学习使用技术进行数据科学并在实践中利用物联网(IoT)。这本书介绍了现代数据科学的核心概念。您将从可以在BBC micro:bit上进行的简单应用程序开始,然后使用其他硬件进行更复杂的实验。

在教育领域,数据科学是最令人兴奋和增长最快的主题之一。理解数据是如何工作的,以及如何使用数据,是21世纪的一项关键生活技能。在一个由信息驱动的世界里,学生们必须配备他们需要的工具来理解这一切。例如,考虑一下数据科学是如何成为识别气候变化危险的关键因素,并继续帮助我们识别和应对它带来的威胁。这本书探讨了数据的威力,以及如何使用手边的硬件来应用数据。

您将学习数据科学的核心概念,如何在现实世界中应用它们,以及如何利用物联网的巨大潜力。到最后,你将能够执行复杂而有意义的数据科学实验——为什么不成为一名公民科学家,为对抗气候变化做出真正的贡献呢?

你将学习

  • 使用带有微处理器的传感器来收集或“创建”数据
  • 从微处理器中提取、制表和利用数据
  • 将微处理器连接到物联网平台,共享并使用我们收集的数据
  • 分析数据并将其转化为信息

成为VIP会员查看完整内容
0
32

摘要:随着日益剧增的海量数据信息的产生以及数据挖掘算法的广泛应用,人们已经进入了大数据时代.在数据规模飞速增长的前提下,如何高效稳定的存取数据信息以及加快数据挖掘算法的执行已经成为学术界和工业界急需解决的关键问题.机器学习算法作为数据挖掘应用的核心组成部分,吸引了越来越多研究者的关注,而利用新型的软硬件手段来加速机器学习算法已经成为了目前的研究热点之一.本文主要针对基于ASIC和FPGA等硬件平台设计的机器学习加速器进行了归纳与总结.首先,本文先介绍了机器学习算法,对代表性的算法进行了分析和归纳.接下来对加速器可能的着眼点进行了列举综述,以各种机器学习硬件加速器为主要实例介绍了目前主流的加速器设计和实现,并围绕加速器结构进行简单分类和总结.最后本文对机器学习算法硬件加速这个领域进行了分析,并对目前的发展趋势做出了展望.

成为VIP会员查看完整内容
0
36
小贴士
相关VIP内容
专知会员服务
32+阅读 · 2020年12月6日
专知会员服务
52+阅读 · 2020年10月2日
专知会员服务
22+阅读 · 2020年9月25日
专知会员服务
32+阅读 · 2020年7月20日
专知会员服务
36+阅读 · 2020年6月20日
相关资讯
深度学习技术在自动驾驶中的应用
智能交通技术
15+阅读 · 2019年10月27日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
5+阅读 · 2019年5月3日
硬件加速神经网络综述
计算机研究与发展
13+阅读 · 2019年2月1日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
10+阅读 · 2018年11月27日
深度学习背景下的神经网络架构演变
极市平台
5+阅读 · 2018年1月25日
10个深度学习软件的安装指南(附代码)
数据派THU
15+阅读 · 2017年11月18日
相关论文
Xubo Lyu,Site Li,Seth Siriya,Ye Pu,Mo Chen
0+阅读 · 9月20日
Renchi Yang,Jieming Shi,Yin Yang,Keke Huang,Shiqi Zhang,Xiaokui Xiao
0+阅读 · 9月20日
Mario T. Lemes,Cristiano Bonato Both,Antonio C. de Oliveira Jr.,Kleber Vieira Cardoso
0+阅读 · 9月18日
Henrique K. Miyamoto,Sueli I. R. Costa,Henrique N. Sá Earp
0+阅读 · 9月16日
Alberto Jesu,Victor-Alexandru Darvariu,Alessandro Staffolani,Rebecca Montanari,Mirco Musolesi
0+阅读 · 9月16日
Yue Yu,Jie Chen,Tian Gao,Mo Yu
6+阅读 · 2019年4月22日
Ming Jin,Andreas Damianou,Pieter Abbeel,Costas Spanos
3+阅读 · 2017年5月4日
Top