最新《分布式机器学习》论文综述最新DML进展,33页pdf

2019 年 12 月 26 日 专知
最新《分布式机器学习》论文综述最新DML进展,33页pdf

【导读】分布式机器学习Distributed Machine Learning是学术界和工业界关注的焦点。最近来自荷兰的几位研究人员撰写了关于分布式机器学习的综述,共33页pdf和172篇文献,概述了分布式机器学习相对于传统(集中式)机器学习的挑战和机遇,讨论了用于分布式机器学习的技术,并对可用的系统进行了概述,从而全面概述了该领域的最新进展


论文地址:

https://www.zhuanzhi.ai/paper/161029da3ed8b6027a1199c026df7d07


摘要


在过去的十年里,对人工智能的需求显著增长,而机器学习技术的进步和利用硬件加速的能力推动了这种增长。然而,为了提高预测的质量并使机器学习解决方案在更复杂的应用中可行,需要大量的训练数据。虽然小的机器学习模型可以用少量的数据进行训练,但训练大模型(如神经网络)的输入随着参数的数量呈指数增长。由于处理训练数据的需求已经超过了计算机器计算能力的增长,因此需要将机器学习的工作负载分布到多台机器上,并将集中式的学习任务转换为分布式系统。这些分布式系统提出了新的挑战,首先是训练过程的有效并行化和一致模型的创建。本文概述了分布式机器学习相对于传统(集中式)机器学习的挑战和机遇,讨论了用于分布式机器学习的技术,并对可用的系统进行了概述,从而全面概述了该领域的最新进展


1. 引言


近年来,新技术的快速发展导致了数据采集的空前增长。机器学习(ML)算法正越来越多地用于分析数据集和构建决策系统,因为问题的复杂性,算法解决方案是不可行的。例如控制自动驾驶汽车[23],识别语音[8],或者预测消费者行为[82]。


在某些情况下,训练模型的长时间运行会引导解决方案设计者使用分布式系统来增加并行性和I/O带宽总量,因为复杂应用程序所需的训练数据很容易达到tb级的[29]。在其他情况下,当数据本身就是分布式的,或者数据太大而不能存储在一台机器上时,集中式解决方案甚至都不是一个选项。例如,大型企业对存储在不同位置的[19]的数据进行事务处理,或者对大到无法移动和集中的天文数据进行事务处理[125]。


为了使这些类型的数据集可作为机器学习问题的训练数据,必须选择和实现能够并行计算、数据分布和故障恢复能力的算法。在这一领域进行了丰富多样的研究生态系统,我们将在本文中对其进行分类和讨论。与之前关于分布式机器学习([120][124])或相关领域的调查([153][87][122][171][144])相比,我们对该问题应用了一个整体的观点,并从分布式系统的角度讨论了最先进的机器学习的实践方面。


第2节深入讨论了机器学习的系统挑战,以及如何采用高性能计算(HPC)的思想来加速和提高可扩展性。第3节描述了分布式机器学习的参考体系结构,涵盖了从算法到网络通信模式的整个堆栈,这些模式可用于在各个节点之间交换状态。第4节介绍了最广泛使用的系统和库的生态系统及其底层设计。最后,第5节讨论了分布式机器学习的主要挑战


2.  机器学习——高性能计算的挑战?


近年来,机器学习技术在越来越复杂的应用中得到了广泛应用。虽然出现了各种相互竞争的方法和算法,但所使用的数据表示在结构上惊人地相似。机器学习工作负载中的大多数计算都是关于向量、矩阵或张量的基本转换——这是线性代数中众所周知的问题。优化这些操作的需求是高性能计算社区数十年来一个非常活跃的研究领域。因此,一些来自HPC社区的技术和库(如BLAS[89]或MPI[62])已经被机器学习社区成功地采用并集成到系统中。与此同时,HPC社区已经发现机器学习是一种新兴的高价值工作负载,并开始将HPC方法应用于它们。Coates等人,[38]能够在短短三天内,在他们的商用现货高性能计算(COTS HPC)系统上训练出一个10亿个参数网络。You等人[166]在Intel的Knights Landing(一种为高性能计算应用而设计的芯片)上优化了神经网络的训练。Kurth等人[84]证明了像提取天气模式这样的深度学习问题如何在大型并行高性能计算系统上进行优化和快速扩展。Yan等人[163]利用借鉴于HPC的轻量级概要分析等技术对工作负载需求进行建模,解决了在云计算基础设施上调度深度神经网络应用程序的挑战。Li等人[91]研究了深度神经网络在加速器上运行时对硬件错误的弹性特性,加速器通常部署在主要的高性能计算系统中。


与其他大规模计算挑战一样,加速工作负载有两种基本的、互补的方法:向单个机器添加更多资源(垂直扩展或向上扩展)向系统添加更多节点(水平扩展或向外扩展)


3. 一个分布式机器学习的参考架构


图1 机器学习的概述。在训练阶段,利用训练数据和调整超参数对ML模型进行优化。然后利用训练后的模型对输入系统的新数据进行预测。



图2 分布式机器学习中的并行性。数据并行性在di上训练同一个模型的多个实例!模型并行性将单个模型的并行路径分布到多个节点。


机器学习算法


机器学习算法学习根据数据做出决策或预测。我们根据以下三个特征对当前的ML算法进行了分类:

  • 反馈、在学习过程中给算法的反馈类型

  • 目的、期望的算法最终结果

  • 方法、给出反馈时模型演化的本质


反馈 训练算法需要反馈,这样才能逐步提高模型的质量。反馈有几种不同类型[165]:

包括 监督学习、无监督学习、半监督学习与强化学习


目的 机器学习算法可用于各种各样的目的,如对图像进行分类或预测事件的概率。它们通常用于以下任务[85]: 异常检测、分类、聚类、降维、表示学习、回归


每一个有效的ML算法都需要一种方法来迫使算法根据新的输入数据进行改进,从而提高其准确性。通过算法的学习方式,我们识别出了不同的ML方法组: 演化算法、随机梯度下降、支持向量机、感知器、神经网络、规则机器学习、主题模型、矩阵分解。


图3所示:基于分布程度的分布式机器学习拓扑


4 . 分布式机器学习生态系统

图4所示。分布式机器学习生态系统。通用分布式框架和单机ML系统和库都在向分布式机器学习靠拢。云是ML的一种新的交付模型。


5 结论和当前的挑战


分布式机器学习是一个蓬勃发展的生态系统,它在体系结构、算法、性能和效率方面都有各种各样的解决方案。为了使分布式机器学习在第一时间成为可行的,必须克服一些基本的挑战,例如,建立一种机制,使数据处理并行化,同时将结果组合成一个单一的一致模型。现在有工业级系统,针对日益增长的欲望与机器学习解决更复杂的问题,分布式机器学习越来越普遍和单机解决方案例外,类似于数据处理一般发展在过去的十年。然而,对于分布式机器学习的长期成功来说,仍然存在许多挑战:性能、容错、隐私、可移植性等。



便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“dmls 就可以获取A Survey on Distributed Machine Learning论文专知载链接索引~ 



专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看5000+AI主题知识资料
登录查看更多
23

相关内容

分布式机器学习研究将具有大规模数据量和计算量的任务分布式地部署到多台机器上,其核心思想在于“分而治之”,有效提高了大规模数据计算的速度并节省了开销。

【导读】深度学习与计算系统结合是现在业界发展的趋势。Logical Clocks的CEO Jim Dowling讲述了分布式深度学习最新技术发展,以及其Hosworks开源平台。

人工智能的需求在过去十年中显著增长,很大程度是深度学习的进步。这种增长是由深度(机器)学习技术的进步和利用硬件加速的能力推动的。然而,为了提高预测的质量和使机器学习解决方案在更复杂的应用中可行,需要大量的训练数据。尽管小型机器学习模型可以用适量的数据进行训练,但用于训练较大模型(如神经网络)的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器计算能力的增长,因此需要将机器学习工作量分散到多台机器上,并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战,首先是训练过程的有效并行化和一致模型的创建。

分布式深度学习有很多好处——使用更多的GPU更快地训练模型,在许多GPU上并行超参数调优,并行消融研究以帮助理解深度神经网络的行为和性能。随着Spark 3.0的出现,GPU开始转向执行器,使用PySpark的分布式深度学习现在成为可能。然而,PySpark给迭代模型开发带来了挑战——从开发机器(笔记本电脑)开始,然后重新编写它们以运行在基于集群的环境中。

本讲座概述了分布式深度学习的技术,并提供了可用系统的概述,从而对该领域当前的最新技术进行了广泛的概述。

Jim Dowling是 Logical Clocks公司的首席执行官,也是KTH皇家理工学院的副教授。他是开源的Hopsworks平台的首席架构师,这是一个横向可扩展的机器学习数据平台。

https://www.slideshare.net/dowlingjim/invited-lecture-on-gpus-and-distributed-deep-learning-at-uppsala-university

成为VIP会员查看完整内容
0
57

摘要: 目标检测算法应用广泛,一直是计算机视觉领域备受关注的研究热点。近年来,随着深度学习的发展,3D图像的目标检测研究取得了巨大的突破。与2D目标检测相比,3D目标检测结合了深度信息,能够提供目标的位置、方向和大小等空间场景信息,在自动驾驶和机器人领域发展迅速。文中首先对基于深度学习的2D目标检测算法进行概述;其次根据图像、激光雷达、多传感器等不同数据采集方式,分析目前具有代表性和开创性的3D目标检测算法;结合自动驾驶的应用场景,对比分析不同 3D 目标检测算法的性能、优势和局限性;最后总结了3D目标检测的应用意义以及待解决的问题,并对 3D 目标检测的发展方向和新的挑战进行了讨论和展望。

成为VIP会员查看完整内容
0
68

【导读】辞九迎零,我们迎来2020,到下一个十年。在2019年机器学习领域继续快速发展,元学习、迁移学习、小样本学习、深度学习理论等取得很多进展。在此,专知小编整理这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南(29页综述)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法。

网址:

https://www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy(多模态机器学习)

人工智能顶刊TPAMI2019最新《多模态机器学习综述》

CMU TPAMI

作者:Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要:我们对世界的体验是多模态的 - 我们看到物体,听到声音,感觉质地,闻到异味和味道。情态是指某种事物发生或经历的方式,并且当研究问题包括多种这样的形式时,研究问题被描述为多模式。为了使人工智能在理解我们周围的世界方面取得进展,它需要能够将这种多模态信号一起解释。多模态机器学习旨在构建可以处理和关联来自多种模态的信息的模型。这是一个充满活力的多学科领域,具有越来越重要的意义和非凡的潜力。本文不是关注特定的多模态应用,而是研究多模态机器学习本身的最新进展。我们超越了典型的早期和晚期融合分类,并确定了多模式机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的状况,并确定未来研究的方向。

网址:

http://www.zhuanzhi.ai/paper/2236c08ef0cd1bc87cae0f14cfbb9915

https://ieeexplore.ieee.org/document/8269806

3、Few-shot Learning: A Survey(小样本学习)

《小样本学习(Few-shot learning)》最新41页综述论文,来自港科大和第四范式

香港科大 第四范式

作者:Yaqing Wang,Quanming Yao

摘要:“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

网址:

https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858

4、meta Learning: A Survey(元学习)

元学习(Meta-Learning) 综述及五篇顶会论文推荐

作者:Joaquin Vanschoren

摘要:元学习,或学习学习,是一门系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方法更快的速度学习新任务。这不仅极大地加快和改进了机器学习管道或神经体系结构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在本文中,我们将概述这一迷人且不断发展的领域的最新进展。

网址:

http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044

5、A Comprehensive Survey on Transfer Learning(迁移学习)

中科院发布最新迁移学习综述论文,带你全面了解40种迁移学习方法

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。。

网址:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模态智能论文综述:表示学习,信息融合与应用) 【IEEE Fellow何晓东&邓力】多模态智能论文综述:表示学习,信息融合与应用,259篇文献带你了解AI热点技术

京东

作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以来,深度学习已经使语音识别、图像识别和自然语言处理发生了革命性的变化,每种方法在输入信号中都只涉及一种模态。然而,人工智能的许多应用涉及到多种模态。因此,研究跨多种模态的建模和学习的更困难和更复杂的问题具有广泛的意义。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究的一个重要领域。本文从学习多模态表示、多模态信号在不同层次上的融合以及多模态应用三个新角度对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,将多模态信号统一到同一个向量空间中,从而实现了多模态信号的交叉处理。我们还回顾了许多类型的嵌入的性质,构造和学习的一般下游任务。在多模态融合方面,本文着重介绍了用于集成单模态信号表示的特殊结构。在应用方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题回答。我们相信这项综述可促进未来多模态智能的研究。

网址:

https://arxiv.org/abs/1911.03977

https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee

7、Object Detection in 20 Years: A Survey(目标检测)

密歇根大学40页《20年目标检测综述》最新论文,带你全面了解目标检测方法

作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要:目标检测作为计算机视觉中最基本、最具挑战性的问题之一,近年来受到了广泛的关注。它在过去二十年的发展可以说是计算机视觉历史的缩影。如果我们把今天的目标检测看作是深度学习力量下的一种技术美学,那么让时光倒流20年,我们将见证冷兵器时代的智慧。本文从目标检测技术发展的角度,对近四分之一世纪(20世纪90年代至2019年)的400余篇论文进行了广泛的回顾。本文涵盖了许多主题,包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构建模块、加速技术以及最新的检测方法。本文还综述了行人检测、人脸检测、文本检测等重要的检测应用,并对其面临的挑战以及近年来的技术进步进行了深入分析。

网址:

https://arxiv.org/abs/1905.05055

https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知识图谱)

作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要:随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

网址:

https://www.mdpi.com/2071-1050/10/9/3245

9、Advances and Open Problems in Federated Learning(联邦学习)

【重磅】联邦学习FL进展与开放问题万字综述论文,58位学者25家机构联合出品,105页pdf438篇文献

摘要:联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

网址:

https://arxiv.org/abs/1912.04977

10、Optimization for deep learning: theory and algorithms(深度学习优化理论算法)

【2019年末硬货】深度学习的最优化:理论和算法综述论文,60页pdf257篇文献

摘要:什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

网址:

https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47

成为VIP会员查看完整内容
0
195

题目: A Survey on Distributed Machine Learning

简介: 在过去十年中,对人工智能的需求已显着增长,并且这种增长得益于机器学习技术的进步以及利用硬件加速的能力,但是,为了提高预测质量并在复杂的应用程序中提供可行的机器学习解决方案,需要大量的训练数据。尽管小型机器学习模型可以使用一定数量的数据进行训练,但用于训练较大模型(例如神经网络)的输入与参数数量成指数增长。由于处理训练数据的需求已经超过了计算机器的计算能力的增长,因此急需在多个机器之间分配机器学习工作量,并将集中式的精力分配到分配的系统上。这些分布式系统提出了新的挑战,最重要的是训练过程的科学并行化和相关模型的创建。本文通过概述传统的(集中的)机器学习方法,探讨了分布式机器学习的挑战和机遇,从而对当前的最新技术进行了广泛的概述,并对现有的技术进行研究。

成为VIP会员查看完整内容
0
67

题目: A survey of deep learning techniques for autonomous driving

简介: 本文目的是研究自动驾驶中深度学习技术的最新技术。首先介绍基于AI的自动驾驶架构、CNN和RNN、以及DRL范例。这些方法为驾驶场景感知、路径规划、行为决策和运动控制算法奠定基础。该文研究深度学习方法构建的模块化“感知-规划-执行”流水线以及将传感信息直接映射到转向命令的端到端系统。此外,设计自动驾驶AI架构遇到的当前挑战,如安全性、训练数据源和计算硬件等也进行了讨论。该工作有助于深入了解深度学习和自动驾驶AI方法的优越性和局限性,并协助系统的设计选择。

成为VIP会员查看完整内容
0
37

AutoML: A Survey of the State-of-the-Art

深度学习已经渗透到我们生活的方方面面,给我们带来了极大的便利。然而,针对某一特定任务构建高质量的深度学习系统的过程不仅耗时,而且需要大量的资源和人力,阻碍了深度学习在产业界和学术界的发展。为了缓解这一问题,越来越多的研究项目关注于自动化机器学习(AutoML)。在本文中,我们提供了一个全面的和最新的研究,在最先进的汽车。首先,根据机器学习的特点,详细介绍了自动化技术。在此基础上,总结了神经结构搜索(NAS)的研究现状,这是目前自动化领域研究的热点之一。我们还将NAS算法生成的模型与人工设计的模型进行了比较。最后,提出了有待进一步研究的几个问题。

成为VIP会员查看完整内容
0
61

近年来,移动设备得到了越来越大的发展,计算能力越来越强,存储空间越来越大。一些计算密集型的机器学习和深度学习任务现在可以在移动设备上运行。为了充分利用移动设备上的资源,保护用户的隐私,提出了移动分布式机器学习的思想。它使用本地硬件资源和本地数据来解决移动设备上的机器学习子问题,只上传计算结果而不是原始数据来帮助全局模型的优化。该体系结构不仅可以减轻服务器的计算和存储负担,而且可以保护用户的敏感信息。另一个好处是带宽的减少,因为各种各样的本地数据现在可以参与培训过程,而不需要上传到服务器。本文对移动分布式机器学习的研究现状进行了综述。我们调查了一些广泛使用的移动分布式机器学习方法。我们还就这一领域的挑战和未来方向进行了深入的讨论。我们相信这项调查能够清晰地展示移动分布式机器学习的概况,并为移动分布式机器学习在实际应用中的应用提供指导。

成为VIP会员查看完整内容
0
20
小贴士
相关VIP内容
专知会员服务
125+阅读 · 2020年7月10日
专知会员服务
68+阅读 · 2020年4月24日
专知会员服务
59+阅读 · 2020年2月8日
专知会员服务
195+阅读 · 2020年1月1日
自动机器学习:最新进展综述
专知会员服务
61+阅读 · 2019年10月13日
相关论文
Joost Verbraeken,Matthijs Wolting,Jonathan Katzy,Jeroen Kloppenburg,Tim Verbelen,Jan S. Rellermeyer
24+阅读 · 2019年12月20日
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
15+阅读 · 2019年12月10日
Taking Human out of Learning Applications: A Survey on Automated Machine Learning
Quanming Yao,Mengshuo Wang,Yuqiang Chen,Wenyuan Dai,Hu Yi-Qi,Li Yu-Feng,Tu Wei-Wei,Yang Qiang,Yu Yang
10+阅读 · 2019年1月17日
Piotr Szymański,Tomasz Kajdanowicz,Nitesh Chawla
3+阅读 · 2019年1月1日
Marvin Teichmann,Andre Araujo,Menglong Zhu,Jack Sim
15+阅读 · 2018年12月4日
Joaquin Vanschoren
108+阅读 · 2018年10月8日
Roman Grundkiewicz,Marcin Junczys-Dowmunt
4+阅读 · 2018年4月16日
Jason, Dai,Yiheng Wang,Xin Qiu,Ding Ding,Yao Zhang,Yanzhang Wang,Xianyan Jia, Cherry, Zhang,Yan Wan,Zhichao Li,Jiao Wang,Shengsheng Huang,Zhongyuan Wu,Yang Wang,Yuhao Yang,Bowen She,Dongjie Shi,Qi Lu,Kai Huang,Guoqiong Song
3+阅读 · 2018年4月16日
Lei Zhang,Shuai Wang,Bing Liu
23+阅读 · 2018年1月24日
Linyuan Gong,Ruyi Ji
8+阅读 · 2018年1月19日
Top