来自卡内基梅隆大学机器人研究所Zhanghao博士论文,他师从著名的邢波教授!博士题目是机器学习并行可以是自适应的、可组合的和自动化的,不可错过!

Zhang hao, 卡内基梅隆大学机器人研究所博士,导师是Eric Xing教授。毕业后将加入加州大学伯克利分校的RISE实验室,做博士后。 https://www.cs.cmu.edu/~hzhang2/

Machine Learning Parallelism Could Be Adaptive, Composable and Automated

近年来,机器学习(ML)领域的创新步伐加快,SysML的研究人员已经创建了在多个设备或计算节点上并行化ML训练的算法和系统。随着ML模型在结构上变得越来越复杂,许多系统都努力在各种模型上提供全面的性能。一般来说,根据从适当的分布策略映射到模型所需的知识数量和时间,ML的规模通常被低估了。将并行训练系统应用到复杂的模型中,除了模型原型之外,还增加了重要的开发开销,并且经常导致低于预期的性能。本文识别并解决并行ML技术和系统实现在可用性和性能方面的研究挑战。

本文的第一部分提出了一个简单的设计原则,自适应并行化,它根据特定的ML属性将适当的并行化技术应用于模型构建块(如层)。接下来,我们导出了一系列优化ML并行化不同方面的优化和实现。我们对它们进行了研究,并表明它们显著提高了ML训练在适用场景下对集群进行2-10倍的效率或可伸缩性。

为了推广这种方法,本论文的第二部分将ML并行化为端到端优化问题,并寻求自动解决它,用于ML并行任务的两种广泛范例:单节点动态批处理和分布式ML并行。我们提出了有原则的表示来表示两类ML并行性,以及可组合的系统架构,分别是Cavs和AutoDist。它们支持为不可见的模型快速组合并行化策略,提高并行化性能,并简化并行ML编程。

在此基础上,本文的第三部分提出了自动并行化框架AutoSync,用于自动优化数据并行分布训练中的同步策略。AutoSync实现了“开框即用”的高性能——它在提议的表现方式所覆盖的范围内导航,并自动识别同步策略,这些同步策略的速度比现有手动优化的系统快1.2 - 1.6倍,降低了分布式ML的技术障碍,并帮助更大的用户社区访问它。本文所开发的技术和系统为分布式环境下大规模ML训练的端到端编译器系统的概念和原型实现提供了理论依据。

论文结构:

第一部分(第三章-第五章):通过自适应并行来理解和优化并行ML在各个方面的性能; 第二部分(第六章-第七章):开发ML并行的统一表示和可组合系统; 第三部分(第八章):自动化ML并行化

成为VIP会员查看完整内容
0
24

相关内容

教机器理解人类语言文档是人工智能领域最难以捉摸和长期存在的挑战之一。本文探讨了阅读理解的问题:如何构建计算机系统来阅读一篇文章并回答理解问题。一方面,我们认为阅读理解是评估计算机系统理解人类语言能力的一项重要任务。另一方面,如果我们能够构建高性能的阅读理解系统,它们将成为问答和对话系统等应用的关键技术。

本文主要研究了基于深度神经网络的阅读理解模型。与传统的稀疏的、手工设计的基于特征的模型相比,这些端到端神经模型被证明在学习丰富的语言现象方面更有效,并在很大程度上提高了所有现代阅读理解基准的性能。

本文由两部分组成。第一部分,我们的目标是涵盖神经阅读理解的本质,并介绍我们在构建有效的神经阅读压缩模型方面所做的努力,更重要的是了解神经阅读理解模型实际学习了什么,以及解决当前任务需要多大的语言理解深度。我们还总结了该领域的最新进展,并讨论了该领域未来的发展方向和有待解决的问题。

在本文的第二部分,我们探讨了如何基于最近神经阅读理解的成功构建实际应用。特别是,我们开创了两个新的研究方向:1)如何将信息检索技术与神经阅读理解相结合,解决大规模开放领域的问题回答;和2)如何从现有的单轮、基于斯潘语言的阅读理解模型中构建会话问答系统。我们在DRQA和COQA项目中实现了这些想法,并证明了这些方法的有效性。我们相信它们对未来的语言技术有着巨大的前景。

https://chendq-thesis-zh.readthedocs.io/en/latest/index.html

成为VIP会员查看完整内容
0
46

在生态学、流行病学和天文学等许多应用领域中,仿真模型被用来研究发生在自然界中的复杂现象。通常,这些模型的似然函数的分析形式要么是不可用的,要么是太昂贵而无法评估,从而使统计推断复杂化。无概率推理(LFI)方法,如近似贝叶斯计算(ABC),基于用模型的正演模拟代替难以处理的似然评估,已成为对仿真模型进行推理的一种流行方法。然而,当前的LFI方法在计算和统计方面存在一些挑战。特别是,标准的ABC算法需要大量的仿真,这使得它们在前向仿真代价昂贵的情况下不可行。

本文讨论了计算代价高的模型的无概率推理。主要贡献是基于高斯过程代理模型的LFI一致性框架。GP模型允许对仿真模型输出的平滑假设进行编码,以减少所需的仿真量。此外,由于模拟预算有限,所产生的基于模型的后验逼近的不确定性可以被量化。我们提出贝叶斯实验设计策略来选择评估地点,以使计算成本最小化。顺序设计(每次选择一个模拟)和批处理策略(允许利用并行计算)都是推导出来的。除了LFI场景外,本文提出的方法也适用于可能性可以评估但代价昂贵的情况。

本质上,所提出的框架可以被视为概率数值方法的LFI对等物,如贝叶斯优化,用于优化昂贵的目标函数,贝叶斯求积,用于计算昂贵函数的积分。我们通过大量的经验模拟证明了所提出的LFI方法的优点。文中还对所提算法进行了理论分析,并讨论了它们与其他GP代理方法的关系。

https://aaltodoc.aalto.fi/handle/123456789/46310

成为VIP会员查看完整内容
0
16

近年来,深度学习彻底改变了机器学习和计算机视觉。许多经典的计算机视觉任务(例如目标检测和语义分割),传统上非常具有挑战性,现在可以使用监督深度学习技术来解决。虽然监督学习是一个强大的工具,当标签数据是可用的,并考虑的任务有明确的输出,这些条件并不总是满足。在这种情况下,生成建模给出了一个很有前途的方法。与纯粹的判别型模型相比,生成型模型可以处理不确定性,甚至在没有标签训练数据的情况下也可以学习强大的模型。然而, 虽然目前的方法生成建模取得可喜的成果, 他们遭受两个方面,限制他们的表现力: (i) 为图像数据建模的一些最成功的方法不再使用优化算法来训练,而是使用其动力学尚未被很好理解的算法,(ii) 生成模型往往受到输出表示的内存需求的限制。我们在本文中解决了这两个问题:在第一部分中,我们介绍了一个理论,它使我们能够更好地理解生成式对抗网络(GANs)的训练动力学,这是生成式建模最有前途的方法之一。我们通过引入可解析理解的GAN训练的最小示例问题来解决这个问题。随后,我们逐渐增加了这些示例的复杂性。通过这样做,我们对GANs的训练动力学有了新的认识,并推出了新的正则化器,也适用于一般的GANs。新的正则化器使我们能够——第一次——以百万像素的分辨率训练GAN,而不必逐渐增加训练分布的分辨率。在本论文的第二部分,我们考虑生成模型的三维输出表示和三维重建技术。通过将隐式表示法引入深度学习,我们能够在不牺牲表现力的情况下将许多2D领域的技术扩展到3D领域。

https://publikationen.uni-tuebingen.de/xmlui/handle/10900/106074

成为VIP会员查看完整内容
0
25

异步分布式计算系统的模型。基本概念的并发和同步,通信,可靠性,拓扑和电子约束,时间和空间的复杂性,和分布式算法。

成为VIP会员查看完整内容
0
22

使用生成模型的无监督学习具有发现3D场景丰富表示的潜力。这种神经场景表示可能随后支持各种下游任务,从机器人技术到计算机图形再到医学成像。然而,现有的方法忽略了场景最基本的属性之一:三维结构。在这项工作中,我们使神经场景表征与一个感应偏差的三维结构的情况。我们证明了这种归纳偏差如何使无监督的发现几何和外观,只给定的二维图像。通过学习一组这样的三维结构感知神经表征的分布,我们可以执行联合重建的三维形状和外观只给出一个单一的二维观察。我们表明,在这个过程中学习到的特征使整个类对象的三维语义分割成为可能,只训练了30个带标记的例子,证明了三维形状、外观和语义分割之间的紧密联系。最后,我们讨论了场景表示学习在计算机视觉本身中的本质和潜在作用,并讨论了未来工作的前景。

成为VIP会员查看完整内容
0
46

凸优化作为一个数学问题已经被研究了一个多世纪,并在许多应用领域的实践中应用了大约半个世纪,包括控制、金融、信号处理、数据挖掘和机器学习。本文主要研究凸优化的几个问题,以及机器学习的具体应用。

成为VIP会员查看完整内容
0
71

在过去的20年里,基因组学、神经科学、经济学和互联网服务等许多领域产生了越来越多的大数据集,这些数据集有高维、大样本,或者两者兼之。这为我们从数据中检索和推断有价值的信息提供了前所未有的机会。同时,也对统计方法和计算算法提出了新的挑战。一方面,我们希望建立一个合理的模型来捕获所需的结构,并提高统计估计和推断的质量。另一方面,面对越来越大的数据集,计算可能成为一个巨大的障碍,以得出有意义的结论。这篇论文站在两个主题的交叉点,提出了统计方法来捕获所需的数据结构,并寻求可扩展的方法来优化计算非常大的数据集。我们提出了一种可扩展的灵活框架,用于利用lasso/elastic-net解决大规模稀疏回归问题; 提出了一种可伸缩的框架,用于在存在多个相关响应和其他细微差别(如缺失值)的情况下解决稀疏缩减秩回归问题。分别在snpnet和multiSnpnet R包中以PLINK 2.0格式为基因组数据开发了优化的实现。这两种方法在超大和超高维的英国生物样本库研究中得到了验证,与传统的预测建模方法相比有了显著的改进。此外,我们考虑了一类不同的高维问题,异质因果效应的估计。与监督学习的设置不同,这类问题的主要挑战在于,在历史数据中,我们从未观察到硬币的另一面,因此我们无法获得处理之间真正差异的基本真相。我们提出适应非参数统计学习方法,特别是梯度增强和多元自适应回归样条,以估计处理效果的预测器可用。实现被打包在一个R包causalLearning中。

成为VIP会员查看完整内容
0
52

论文题目:Acquiring Diverse Robot Skills via Maximum Entropy Deep Reinforcement Learning

作者:Tuomas Haarnoja

导师:Pieter Abbeel and Sergey Levine

网址:
https://www2.eecs.berkeley.edu/Pubs/TechRpts/2018/EECS-2018-176.html

论文摘要:

在本文中,我们研究了最大熵框架如何提供有效的深度强化学习(deep reinforcement learning, deep RL)算法,以连贯性地解决任务并有效地进行样本抽取。这个框架有几个有趣的特性。首先,最优策略是随机的,改进了搜索,防止了收敛到局部最优,特别是当目标是多模态的时候。其次,熵项提供了正则化,与确定性方法相比,具有更强的一致性和鲁棒性。第三,最大熵策略是可组合的,即可以组合两个或两个以上的策略,并且所得到的策略对于组成任务奖励的总和是近似最优的。第四,最大熵RL作为概率推理的观点为构建能够解决复杂和稀疏奖励任务的分层策略提供了基础。在第一部分中,我们将在此基础上设计新的算法框架,从soft Q学习的学习表现力好的能量策略、对于 sodt actor-critic提供简单和方便的方法,到温度自动调整策略, 几乎不需要hyperparameter调优,这是最重要的一个实际应用的调优hyperparameters可以非常昂贵。在第二部分中,我们将讨论由最大熵策略固有的随机特性所支持的扩展,包括组合性和层次学习。我们将演示所提出的算法在模拟和现实机器人操作和移动任务中的有效性。

成为VIP会员查看完整内容
0
24

主题: Towards Automatic Machine Learning Pipeline Design

简介: 数据收集量的迅速增加,使决策的瓶颈迅速从缺乏数据转向缺乏数据科学家,以帮助分析收集的数据。此外,用于数据分析的新潜在解决方案和方法的发布速度已经超过了人类数据科学家所能遵循的速度。同时,我们注意到数据科学家在分析过程中执行的许多任务都可以自动化。自动机器学习(AutoML)研究和解决方案试图使部分甚至整个数据分析过程自动化。我们解决了自动化研究中的两个挑战: 首先,如何表示适合元学习的ML程序;第二,如何改进自动系统的评估,使之能够比较各种方法,而不仅仅是预测。为此,我们设计并实现了一个ML程序框架,该框架提供了以标准方式描述ML程序所需的所有组件。该框架是可扩展的,框架的组件之间是解耦的,例如,该框架可以用来描述使用神经网络的ML程序。我们为执行框架中描述的程序提供参考工具。我们还设计并实现了一个服务,一个元学习数据库,它存储由不同的自动化系统生成的执行ML程序的信息。

我们通过测量使用框架与执行直接调用底层库的ML程序的计算开销来评估框架。我们注意到框架的ML程序执行时间比不使用该框架的ML程序慢一个数量级,内存使用量是不使用该框架的ML程序的两倍。 通过比较使用我们的框架的10个不同的AutoML系统,我们展示了我们的框架评估AutoML系统的能力。结果表明,该框架既可以用来描述一组不同的ML程序,又可以用来明确地确定哪个自动化系统生成了最佳的ML程序。在许多情况下,生成的ML程序的性能优于由人类专家编写的ML程序。

成为VIP会员查看完整内容
0
20