《自动化机器学习:方法,系统和挑战》-最新版-免费下载

2019 年 6 月 2 日 深度学习与NLP
《自动化机器学习:方法,系统和挑战》-最新版-免费下载
 

前沿

    在过去十年中,机器学习研究和应用激增;特别是深度学习方法已经在许多应用领域取得了重要进展,例如计算机视觉、语音处理和游戏。然而,许多机器学习方法的性能对需要过多的设计的决策场景非常敏感,这对新用户构成了相当大的障碍。在蓬勃发展的深度学习领域尤其如此,人类工程师需要选择正确的神经网络、训练过程、正则化方法和所有这些组件的超参数,以使他们的网络以足够的性能完成他们应该做的事情。每个应用程序都必须重复这个过程。即使是专家也经常会遇到繁琐的反复试验,直到他们为特定的数据集找到一套好的选择。

    自动机器学习领域旨在以数据驱动、客观和自动的方式做出这些决定:用户只需提供数据,自动机器学习系统自动确定最适合这一特定应用的方法。因此,AutoML使那些对应用机器学习感兴趣但没有资源来详细了解机器学习背后技术的领域科学家可以使用最先进的机器学习方法。这可以被看作是机器学习的民主化:有了AutoML,定制的最先进的机器学习触手可及。

    正如我们在这本书里所展示的,自动学习方法已经足够成熟,可以与人类机器学习专家匹敌,有时甚至超越他们。简而言之,AutoML可以提高性能,同时节省大量的时间和金钱,因为机器学习专家既难找又昂贵。因此,近年来,人们对AutoML的商业兴趣急剧增长,一些主要的科技公司正在开发他们自己的AutoML系统。然而,我们注意到,开源自动学习系统比专有付费黑匣子服务更有利于机器学习民用化的目的。


    文末附本书最新版下载地址。


内容简介

    这本书概述了AutoML领域的快速发展。由于社区当前对深度学习的关注,一些研究者现在错误地将自动学习等同于神经架构搜索的主题;但是当然,如果你正在读这本书,你会知道—虽然网络连接存储是自动存储的一个很好的例子—但是自动存储比网络连接存储有更多的优点。这本书旨在为有兴趣开发他们自己的自动化方法的研究人员提供一些背景和出发点,为那些想把自动化应用到他们的问题上的从业者强调可用的系统,并为已经在自动化领域工作的研究人员提供一个最新的视角。这本书分为三个部分,分别论述了AutoML的这些不同方面。


本书目录

书籍pdf下载地址

    链接: https://pan.baidu.com/s/1rVPOXdXBHtgAyhrgWO1r1Q

     提取码: fmu3

往期精品内容推荐

Yoshua Bengio-AGI的方法、阻碍和未来的方向

深度学习-强化学习-图神经网络-自然语言处理等AI课程超级大列表

如何构建OpenAI的GPT 2:“太危险而无法释放的人工智能”

经典文章推荐-《迁移学习-该做的和不该做的》

Tensorflow官方视频课程-深度学习工具 TensorFlow入门

《最全》2019年全球AI顶会整理

上下文预训练模型最全整理:原理、应用、开源代码、数据分享

UC Berkeley-2019-《深度学习与应用自然语言处理》实战课程分享

MIT深度学习基础-2019视频课程分享

深度学习与计算机视觉任务应用综述

精品教材-中文版《Tensorflow内核剖析》分享

可推理神经网络模型-Christopher Manning

10月最新-深度强化学习圣经-《Reinforcement Learning-第二版》

扫描下方二维码可以订阅哦!

DeepLearning_NLP

深度学习与NLP

       商务合作请联系微信号:lqfarmerlq

登录查看更多
18

相关内容

自动机器学习(AutoML)是将机器学习应用于实际问题的过程的自动化过程。AutoML涵盖了从原始数据集到可部署的机器学习模型的完整管道。提出将AutoML作为基于人工智能的解决方案来应对不断增长的应用机器学习的挑战。 AutoML的高度自动化允许非专家使用机器学习模型和技术,而无需首先成为该领域的专家。 从机器学习角度讲,AutoML 可以看作是一个在给定数据和任务上学习和泛化能力非常强大的系统。但是它强调必须非常容易使用;从自动化角度讲,AutoML 则可以看作是设计一系列高级的控制系统去操作机器学习模型,使得模型可以自动化地学习到合适的参数和配置而无需人工干预。

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
82

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
133

【导读】本资源收集了关于数据科学、大数据、数据挖掘、机器学习、Python、R、SQL、NoSQL等方面的最好的免费书籍。如果你正在寻找相应的书籍,可以直接阅览本资源,以便你可以快速有效的获取相应的资源。

    请注意,虽然这里的每本书都是免费提供的,但如果发现特别有用,可以考虑购买纸质版本。在许多情况下,您会找到指向纸质版的亚马逊链接。(点击View Free Book, 即可查看或下载)

成为VIP会员查看完整内容
0
61

【导读】这本书对自动化机器学习(AutoML)的一般化方法进行了全面的阐述,并且收集了以这些方法为基础的系统的描述和一系列关于自动化机器学习系统领域的挑战。最近,机器学习在商业领域取得的成就和该领域的快速增长对机器学习产生了大量的需求,尤其是可以很容易地使用,并且不需要专家知识的机器学习方法。然而,当前许多表现优异的机器学习方法的大多都依赖人类专家去手动选择适当的机器学习架构以及模型的超参数(深度学习架构或者更加传统的机器学习方法)。为了克服这个问题,AutoML基于优化原理和机器学习本身去逐步实现机器学习的自动化。这本书可以为为研究人员和高年级学生提供一个进入这个快速发展的领域的切入点,同时也为打算在工作中使用AutoML的从业者提供参考。

第一部分 自动机器学习方法

每个机器学习系统都有超参数,而自动化机器学习最基本的任务就是自动设置这些超参数来优化性能。尤其是最近的深度神经网络严重依赖对于神经网络的结构、正则化和优化等超参数的选择。自动优化超参数(HPO)有几个重要的用例:​

  • 减少机器学习应用过程中所需的人力。这在自动化机器学习(AutoML)的上下文中尤其重要。
  • 提高机器学习算法的性能(根据实际问题调整算法);这已经在一些研究中对重要的机器学习基准方法产生了效果。
  • 提高科学研究的再现性和公平性。自动化的HPO显然比手工搜索更具可重复性。它使得不同的方法可以公平的比较,因为不同的方法只有在它们在相同级别的问题上调优时才能公平地进行比较。

第二部分 自动化机器学习系统

越来越多的非领域专家开始学习使用机器学习工具,他们需要非独立的解决方案。机器学习社区通过开源代码为这些用户提供了大量复杂的学习算法和特征选择方法,比如WEKA和mlr。这些开源包需要使用者做出两种选择:选择一种学习算法,并通过设置超参数对其进行定制。然而想要一次性做出正确的选择是非常具有挑战性的,这使得许多用户不得不通过算法的声誉或直觉来进行选择,并将超参数设置为默认值。当然,采用这种方法所获得的性能要比最佳方法进行超参数设置差得多。

第三部分 自动化机器学习面临的挑战

直到十年之前,机器学习还是一门鲜为人知的学科。对于机器学习领域的科学家们来说,这是一个“卖方市场”:他们研究产出了大量的算法,并不断地寻找新的有趣的数据集。大的互联网公司积累了大量的数据,如谷歌,Facebook,微软和亚马逊已经上线了基于机器学习的应用,数据科学竞赛也吸引了新一代的年轻科学家。如今,随着开放性数据的增加,政府和企业不断发掘机器学习的新的应用领域。然而,不幸的是机器学习并不是全自动的:依旧很难确定哪个算法一定适用于哪种问题和如何选择超参数。完全自动化是一个无界的问题,因为总是有一些从未遇到过的新设置。AutoML面临的挑战包括但不限于:

  • 监督学习问题(分类和回归)
  • 特征向量表示问题
  • 数据集特征分布问题(训练集,验证集和测试集分布相同)
  • 小于200兆字节的中型数据集
  • 有限的计算资源
成为VIP会员查看完整内容
0
88
小贴士
相关资讯
《AutoML:方法,系统,挑战》新书免费下载
极市平台
5+阅读 · 2019年5月29日
AutoML:机器学习的下一波浪潮(附代码&链接)
THU数据派
3+阅读 · 2019年4月29日
AutoML:机器学习的下一波浪潮
AI前线
6+阅读 · 2019年4月27日
告别调参,AutoML新书221页免费下载
新智元
10+阅读 · 2018年10月16日
谷歌放大招!数据增强实现自动化
新智元
6+阅读 · 2018年6月4日
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
AutoML: A Survey of the State-of-the-Art
Xin He,Kaiyong Zhao,Xiaowen Chu
32+阅读 · 2019年8月14日
A Capsule Network-based Embedding Model for Knowledge Graph Completion and Search Personalization
Dai Quoc Nguyen,Thanh Vu,Tu Dinh Nguyen,Dat Quoc Nguyen,Dinh Phung
5+阅读 · 2019年3月6日
Peifeng Wang,Jialong Han,Chenliang Li,Rong Pan
6+阅读 · 2018年11月4日
Thomas Elsken,Jan Hendrik Metzen,Frank Hutter
10+阅读 · 2018年9月5日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Felix Laumann,Kumar Shridhar,Adrian Llopart Maurin
17+阅读 · 2018年6月27日
Yongfeng Zhang,Xu Chen
10+阅读 · 2018年5月13日
Tianran Hu,Anbang Xu,Zhe Liu,Quanzeng You,Yufan Guo,Vibha Sinha,Jiebo Lu,Rama Akkiraju
7+阅读 · 2018年3月8日
Ke Zhang,Liru Guo,Ce Gao,Zhenbing Zhao
3+阅读 · 2017年10月1日
Top