很长一段时间以来,计算机架构和系统被优化,以使机器学习(ML)算法或模型的有效执行。现在,是时候重新考虑ML和系统之间的关系,并让ML改变计算机架构和系统的设计方式。这包含着双重意义:提高设计师的工作效率,完成良性循环。在本文中,我们对将ML应用于系统设计的工作进行了全面的回顾,这些工作可以分为两大类: 基于ML的建模,它涉及到性能指标的预测或其他一些感兴趣的标准,以及直接利用ML作为设计工具的基于ML的设计方法。对于基于ML的建模,我们讨论现有的研究基于它们的系统目标级别,从电路级别到架构/系统级别。对于基于ML的设计方法,我们遵循自底向上的路径来回顾当前的工作,包括(微)体系结构设计(内存、分支预测、NoC)、体系结构/系统和工作负载(资源分配和管理、数据中心管理和安全)之间的协调、编译器和设计自动化。我们进一步提供了未来的机遇和潜在的方向,并展望了将ML应用于计算机体系结构和系统将在社区中蓬勃发展。

https://www.zhuanzhi.ai/paper/73124e0addcfed8cc8f738faf5f8c398

机器学习(ML)已经在许多领域创造了奇迹,包括计算机视觉[81,207,213],语音识别[76,83],自然语言处理[38,146,210],药物发现[148,198],机器人[77,86,140],玩电子游戏[15,167,226],以及许多其他领域[103,128,195,206]。在某些情况下,ML能够达到或超过人类的性能。例如,在大规模ImageNet数据集上,ResNet[81]比human获得了更好的top-5错误率;AlphaGo Zero可以打败人类专业围棋选手[206];从单人游戏(如Atari[167])到多人游戏(如《星际争霸2》[226]和《Dota 2[15]》),训练人工代理玩电子游戏也取得了重大进展。

目前的ML模型大多是深度神经网络(DNNs)及其变体(如多层感知器、卷积神经网络、递归神经网络),对内存和计算资源的要求都很高。随着人们寻求更好的人工智能,有一种趋势是更大、更有表现力和更复杂的模型。随着摩尔定律带来的收益递减,这一趋势促使计算机体系结构/系统的进步,以更快、更节能的方式实现ML模型。针对ML工作负载,在不同层次的系统和体系结构设计上进行了改进。在算法层面,对ML模型进行剪枝、量化和压缩[79,92],以消除计算复杂度,提高硬件效率;在硬件层面,在内存中处理(PIM)的复兴和near-data处理(NDP)(73, 179),也出现专门的架构和加速器,从那些专门为卷积神经网络(CNN)优化(例如ShiDianNao [57], Eyeriss[31]和基本[178])那些为通用款设计加速度(例如DaDianNao [30], TPU[108],和DNPU [204]);在器件层面,将新兴的非易失性存储器技术应用于体系结构设计中,如电阻式随机存取存储器(ReRAM)[234]、相变存储器(PCM)[25]、自旋传递转矩磁性随机存取存储器(STT-MRAM)[85],将计算和内存结合在一起,提供了另一种有前景的选择(如PRIME[35]、ISAAC[200]和Resparc[7])。

在日益复杂的工作负载及其不同的性能、精度和功率目标的驱动下,设计体系结构/系统是一件不简单而费力的事情。通常,这些设计是由人类专家基于直觉和启发式做出的,这需要ML和体系结构/系统方面的专业知识,在这种情况下,特别是在更复杂的系统中,无法保证良好的可伸缩性和最佳结果。因此,对于体系结构和系统设计来说,朝着更加自动化和强大的方法发展似乎是很自然的,ML和系统设计之间的关系也正在被重新考虑。通常,架构和系统优化是为了加速ML模型的执行和提高性能,不可否认的是,ML的革命在一定程度上依赖于处理能力的提高,如更好地利用并行性、数据重用和稀疏性等。近年来,有迹象表明将ML应用于增强系统设计,具有很大的发展潜力。将ML应用于系统设计有两个意义: 1减轻人类专家手工设计系统的负担,提高设计者的工作效率; 2闭合正反馈回路,即:,架构/系统为ML,同时ML为架构/系统,形成一个良性循环,鼓励双方的改进。

一般来说,将ML应用于系统设计的现有工作分为两类。1 ML技术用于系统建模,它涉及性能指标或一些感兴趣的标准(例如功耗、延迟、吞吐量等)。在系统设计过程中,需要对系统行为进行快速、准确的预测。传统上,系统建模是通过周期精确或功能虚拟平台和指令集模拟器(ISSs)的形式来实现的(例如gem5 [18], Simics[150])。尽管这些方法可以提供准确的评估,但它们也带来了与性能建模相关的昂贵的计算成本,限制了对大规模和复杂系统的可伸缩性; 同时,长时间的模拟限制了设计师的才能,因为只能探索整个设计空间的一小部分。采用ML技术作为设计方法,直接加强架构/系统设计。ML擅长提取特性,在没有显式编程的情况下做出决策,并根据经验自动改进自身。因此,将ML技术作为设计工具,可以更主动、更智能地探索设计空间,通过更好地理解资源的复杂、非线性交互等来管理资源,从而提供真正的最优解决方案。

在本文中,我们概述了将ML应用于计算机体系结构/系统,并总结了ML技术可以解决哪些系统问题以及ML技术如何解决这些问题,如图4所示。本文还讨论了ML在系统设计中的应用所面临的挑战和前景。本文组织如下。第2节简要介绍了常用的ML技术;第3节回顾了使用ML技术进行系统建模的研究,从电路级到架构/系统级;第4节介绍了利用ML技术作为设计工具直接增强体系结构/系统设计的研究,包括(微)体系结构设计(内存、分支预测、NoC)、体系结构/系统和工作负载(资源分配和管理、数据中心管理和安全)之间的协调、编译器和设计自动化;第5节讨论了将ML应用于系统设计的挑战和未来前景,以传达设计考虑的见解;第六部分是本文的总结。

成为VIP会员查看完整内容
0
28

相关内容

在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限,注意力机制选择、调整和关注与行为最相关的信息。

几十年来,哲学、心理学、神经科学和计算机科学都在研究注意力的概念和功能。在过去的六年中,这一特性在深度神经网络中得到了广泛的研究。目前,深度学习的研究进展主要体现在几个应用领域的神经注意力模型上。

本研究对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,识别并讨论了那些注意力显示出重大影响的架构。我们亦制订了一套自动化方法体系,并将其公诸于众,以促进这方面的研究工作。通过批判性地分析650部文献,我们描述了注意力在卷积、循环网络和生成模型中的主要用途,识别了使用和应用的共同子组。

此外,我们还描述了注意力在不同应用领域的影响及其对神经网络可解释性的影响。最后,我们列出了进一步研究的可能趋势和机会,希望这篇综述能够对该领域的主要注意力模型提供一个简明的概述,并指导研究者开发未来的方法,以推动进一步的改进。

成为VIP会员查看完整内容
0
120

深度神经网络已经彻底改变了电力系统中的许多机器学习任务,从模式识别到信号处理。这些任务中的数据通常以欧几里得域表示。然而,在电力系统中有越来越多的应用,其中的数据收集自非欧几里得域,并表示为具有高维特征和节点间相互依赖的图结构数据。图结构数据的复杂性给现有的欧几里得域深度神经网络带来了重大挑战。近年来,在电力系统图结构数据的深度神经网络扩展方面出现了许多研究。本文对电力系统中的图神经网络(GNNs)进行了综述。总结了几种经典的GNNs结构范式 (图卷积网络、图递归神经网络、图注意力网络、图生成网络、时空图卷积网络以及混合形式的GNNs),并详细综述了其在电力系统故障诊断、功率预测、能流计算和数据生成等方面的关键应用。此外,还讨论了GNN在电力系统中应用的主要问题和一些研究趋势。

https://www.zhuanzhi.ai/paper/4b5bc1768a01d1a9dccfc5dc32885c63

成为VIP会员查看完整内容
0
24

在大数据时代下,深度学习、强化学习以及分布式学习等理论和技术取得的突破性进展,为机器学习提供了数据和算法层面的强有力支撑,同时促进了机器学习的规模化和产业化发展.然而,尽管机器学习模型在现实应用中有着出色的表现,但其本身仍然面临着诸多的安全威胁.机器学习在数据层、模型层以及应用层面临的安全和隐私威胁呈现出多样性、隐蔽性和动态演化的特点.机器学习的安全和隐私问题吸引了学术界和工业界的广泛关注,一大批学者分别从攻击和防御的角度对模型的安全和隐私问题进行了深入的研究,并且提出了一系列的攻防方法. 在本综述中,我们回顾了机器学习的安全和隐私问题,并对现有的研究工作进行了系统的总结和科学的归纳,同时明确了当前研究的优势和不足. 最后,我们探讨了机器学习模型安全与隐私保护研究当前所面临的挑战以及未来潜在的研究方向,旨在为后续学者进一步推动机器学习模型安全与隐私保护研究的发展和应用提供指导.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6131&flag=1

成为VIP会员查看完整内容
1
45

题目

A Survey on Large-scale Machine :大规模机器学习综述

关键词

机器学习,综述调查

摘要

机器学习可以提供对数据的深刻见解,从而使机器能够做出高质量的预测,并已广泛用于诸如文本挖掘,视觉分类和推荐系统之类的实际应用中。 但是,大多数复杂的机器学习方法在处理大规模数据时会耗费大量时间。 这个问题需要大规模机器学习(LML),其目的是从具有可比性能的大数据中学习模式。 在本文中,我们对现有的LML方法进行了系统的调查,为该领域的未来发展提供了蓝图。 我们首先根据提高可伸缩性的方式来划分这些LML方法:1)简化计算复杂度的模型,2)优化计算效率的近似值,以及3)提高计算的并行性。 然后,根据目标场景对每种方法进行分类,并根据内在策略介绍代表性方法。最后,我们分析其局限性并讨论潜在的方向以及未来有望解决的开放问题。

简介

机器学习使机器能够从数据中学习模式,从而无需手动发现和编码模式。 尽管如此,相对于训练实例或模型参数的数量,许多有效的机器学习方法都面临二次时间复杂性[70]。 近年来,随着数据规模的迅速增长[207],这些机器学习方法变得不堪重负,难以为现实应用服务。 为了开发大数据的金矿,因此提出了大规模机器学习(LML)。 它旨在解决可用计算资源上的常规机器学习任务,特别着重于处理大规模数据。 LML可以以几乎线性(甚至更低)的时间复杂度处理任务,同时获得可比的精度。 因此,它已成为可操作的见解的大数据分析的核心。 例如,Waymo和Tesla Autopilot等自动驾驶汽车在计算机视觉中应用了卷积网络,以实时图像感知周围环境[115]; 诸如Netflix和Amazon之类的在线媒体和电子商务站点从用户历史到产品推荐都建立了有效的协作过滤模型[18]。总而言之,LML在我们的日常生活中一直扮演着至关重要的和不可或缺的角色。

鉴于对从大数据中学习的需求不断增长,对此领域的系统调查变得非常科学和实用。 尽管在大数据分析领域已经发表了一些调查报告[12],[33],[54],[193],但它们在以下方面还不够全面。 首先,它们大多数只专注于LML的一个观点,而忽略了互补性。它限制了它们在该领域的价值,并无法促进未来的发展。例如,[12]专注于预测模型而没有发现优化问题,[33]在忽略并行化的同时回顾了随机优化算法,[193]仅关注了 大数据处理系统,并讨论系统支持的机器学习方法。 其次,大多数调查要么失去对所审查方法的洞察力,要么忽视了最新的高质量文献。 例如,[12]缺乏讨论模型的计算复杂性的讨论,[33]忽略了处理高维数据的优化算法,[120]将其研究限于Hadoop生态系统中的分布式数据分析。 从计算角度回顾了200多篇Paperson LML,并进行了更深入的分析,并讨论了未来的研究方向。 我们为从业者提供查找表,以根据他们的需求和资源选择预测模型,优化算法和处理系统。 此外,我们为研究人员提供了有关当前策略的见解,以更有效地开发下一代LML的指南。

我们将贡献总结如下。 首先,我们根据三个计算角度对LML进行了全面概述。 具体来说,它包括:1)模型简化,通过简化预测模型来降低计算复杂性; 2)优化近似,通过设计更好的优化算法来提高计算效率; 3)计算并行性,通过调度多个计算设备来提高计算能力。其次,我们对现有的LML方法进行了深入的分析。 为此,我们根据目标场景将每个角度的方法划分为更精细的类别。 我们分析了它们促进机器学习过程的动机和内在策略。 然后,我们介绍了具有代表性的成就的特征。此外,我们还回顾了混合方法,这些方法共同改善了协同效应的多个视角。 第三,我们从各个角度分析了LML方法的局限性,并根据其扩展提出了潜在的发展方向。 此外,我们讨论了有关LML未来发展的一些相关问题。

本文的结构如下。 我们首先在第2节中介绍了机器学习的一般框架,然后对其有效性和效率进行了高层次的讨论。在第3节中,我们全面回顾了最新的LML方法并深入了解了它们的好处和优势。 局限性。 最后,在第5节结束本文之前,我们讨论了解决第4节中的局限性和其他有希望的未解决问题的未来方向。

成为VIP会员查看完整内容
0
44

在海量大数据的帮助下,深度学习在许多领域都取得了显著的成功。但是,数据标签的质量是一个问题,因为在许多现实场景中缺乏高质量的标签。由于带噪标签严重降低了深度神经网络的泛化性能,从带噪标签中学习(鲁棒训练)已成为现代深度学习应用的一项重要任务。在这个综述中,我们首先从监督学习的角度来描述标签噪声的学习问题。接下来,我们提供了对46种最先进的鲁棒训练方法的全面回顾,所有这些方法根据其方法上的差异被归类为7组,然后系统地比较用于评价其优越性的6种属性。然后,总结了常用的评价方法,包括公共噪声数据集和评价指标。最后,我们提出了几个有前景的研究方向,可以作为未来研究的指导。

https://arxiv.org/abs/2007.08199

成为VIP会员查看完整内容
0
61

摘要:卷积神经网络在广泛的应用中取得了优秀的表现,但巨大的资源消耗量使得其应用于移动端和嵌入式设备成为了挑战。为了解决此类问题,需要对网络模型在大小、速度和准确度方面做出平衡。首先,从模型是否预先训练角度,简要介绍了网络压缩与加速的两类方法——神经网络压缩和紧凑的神经网络。具体地,阐述了紧凑的神经网络设计方法,展示了其中不同运算方式,强调了这些运算特点,并根据基础运算不同,将其分为基于空间卷积的模型设计和基于移位卷积模型设计两大类,然后每类分别选取三个网络模型从基础运算单元、核心构建块和整体网络结构进行论述。同时,分析了各网络以及常规网络在ImageNet数据集上的性能。最后,总结了现有的紧凑神经网络设计技巧,并展望了未来的发展方向。

成为VIP会员查看完整内容
0
46

最新的技术进步提高了交通运输的质量。新的数据驱动方法为所有基于控制的系统(如交通、机器人、物联网和电力系统)带来了新的研究方向。将数据驱动的应用与运输系统相结合在最近的运输应用程序中起着关键的作用。本文综述了基于深度强化学习(RL)的交通控制的最新应用。其中,详细讨论了基于深度RL的交通信号控制(TSC)的应用,这在文献中已经得到了广泛的研究。综合讨论了TSC的不同问题求解方法、RL参数和仿真环境。在文献中,也有一些基于深度RL模型的自主驾驶应用研究。我们的调查广泛地总结了这一领域的现有工作,并根据应用程序类型、控制模型和研究的算法对它们进行了分类。最后,我们讨论了基于深度可编程逻辑语言的交通应用所面临的挑战和有待解决的问题。

成为VIP会员查看完整内容
0
95

近年来,移动设备得到了越来越大的发展,计算能力越来越强,存储空间越来越大。一些计算密集型的机器学习和深度学习任务现在可以在移动设备上运行。为了充分利用移动设备上的资源,保护用户的隐私,提出了移动分布式机器学习的思想。它使用本地硬件资源和本地数据来解决移动设备上的机器学习子问题,只上传计算结果而不是原始数据来帮助全局模型的优化。该体系结构不仅可以减轻服务器的计算和存储负担,而且可以保护用户的敏感信息。另一个好处是带宽的减少,因为各种各样的本地数据现在可以参与培训过程,而不需要上传到服务器。本文对移动分布式机器学习的研究现状进行了综述。我们调查了一些广泛使用的移动分布式机器学习方法。我们还就这一领域的挑战和未来方向进行了深入的讨论。我们相信这项调查能够清晰地展示移动分布式机器学习的概况,并为移动分布式机器学习在实际应用中的应用提供指导。

成为VIP会员查看完整内容
0
23
小贴士
相关VIP内容
专知会员服务
45+阅读 · 2020年11月12日
专知会员服务
102+阅读 · 2020年9月7日
专知会员服务
61+阅读 · 2020年7月20日
专知会员服务
46+阅读 · 2020年5月21日
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
73+阅读 · 2019年12月26日
相关资讯
最新《动态网络嵌入》综述论文,25页pdf
专知
18+阅读 · 2020年6月17日
面向人工智能的计算机体系结构
计算机研究与发展
6+阅读 · 2019年6月6日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
10+阅读 · 2018年11月27日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
9+阅读 · 2018年9月20日
相关论文
Riccardo Volpi,Diane Larlus,Grégory Rogez
0+阅读 · 4月8日
Learning in the Frequency Domain
Kai Xu,Minghai Qin,Fei Sun,Yuhao Wang,Yen-Kuang Chen,Fengbo Ren
8+阅读 · 2020年3月12日
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications
Jie Gui,Zhenan Sun,Yonggang Wen,Dacheng Tao,Jieping Ye
43+阅读 · 2020年1月20日
Fang Liu,Guoming Tang,Youhuizi Li,Zhiping Cai,Xingzhou Zhang,Tongqing Zhou
16+阅读 · 2019年11月7日
AutoML: A Survey of the State-of-the-Art
Xin He,Kaiyong Zhao,Xiaowen Chu
39+阅读 · 2019年8月14日
Joaquin Vanschoren
115+阅读 · 2018年10月8日
Stylianos I. Venieris,Alexandros Kouris,Christos-Savvas Bouganis
4+阅读 · 2018年3月15日
Parisa Naderi Golshan,HosseinAli Rahmani Dashti,Shahrzad Azizi,Leila Safari
6+阅读 · 2018年3月15日
Peter Shaw,Jakob Uszkoreit,Ashish Vaswani
14+阅读 · 2018年3月6日
Burak Uzkent,YoungWoo Seo
6+阅读 · 2018年1月20日
Top