当前关于机器学习方面的资料非常丰富:Andrew NG在Coursera上的机器学习教程、Bishop的《机器学习与模式识别》 和周志华老师的《机器学习》都是非常好的基础教材;Goodfellow等人的《深度学习》是学习深度学习技术的首选资料;MIT、斯坦福等名校的公开课也非常有价值;一些主要会议的Tutorial、keynote也都可以在网上搜索到。然而,在对学生们进行培训的过程中, 我深感这些资料专业性很强,但入门不易。一方面可能是由于语言障碍,另一个主要原因在于机器学习覆盖 面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词,无穷无尽的 算法面前产生畏难情绪,导致半途而废。

本书的主体内容是基于该研讨班形成的总结性资料。基于作者的研究背景,这本书很难说 是机器学习领域的专业著作,而是一本学习笔记,是从一个机器学习 技术使用者角度对机器学习知识的一次总结,并加入我们在本领域研究中的一些经验和发现。与其说是一本教材,不如说是一本科普读物, 用轻松活泼的语言和深入浅出的描述为初学者打开机器学习这扇充满魔力的大门。打开大门以后,我们会发现这是个多么让人激动人心的 领域,每天都有新的知识、新的思路、新的方法产生,每天都有令人振奋的成果。我们希望这本书 可以让更多学生、工程师和相关领域的研究者对机器学习产生兴趣,在这片异彩纷呈的海域上找到 属于自己的那颗贝壳。

强烈推荐给所有初学机器学习的人,里面有: 书籍的pdf 课堂视频 课堂slides 各种延伸阅读 MIT等世界名校的slides 学生的学习笔记等

成为VIP会员查看完整内容
0
101

相关内容

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
85

自Goodfellow等人2014年开创性的工作以来,生成式对抗网(GAN)就受到了相当多的关注。这种关注导致了GANs的新思想、新技术和新应用的爆炸。为了更好地理解GANs,我们需要理解其背后的数学基础。本文试图从数学的角度对GANs进行概述。许多学数学的学生可能会发现关于GAN的论文更难以完全理解,因为大多数论文是从计算机科学和工程师的角度写的。这篇论文的目的是用他们更熟悉的语言来介绍GANs。

成为VIP会员查看完整内容
0
47

这是一本Python编程的教科书,有许多实际的例子和练习。您将学习基本编程的必要基础,重点是Python。这本教科书是用Latex写的,使用Overleaf.com。

您可以在下面找到源代码和其他示例和参考资料。

Python已经成为一种流行的编程语言,也是当今使用最多的编程语言之一。

在过去的30年里,我们创建软件的方式发生了巨大的变化,从80年代初的个人电脑时代到今天的智能手机、平板电脑和个人电脑等功能强大的设备。

互联网也改变了我们使用设备和软件的方式。我们仍然有传统的桌面应用程序,但Web站点、Web应用程序和所谓的智能手机应用程序等主导着今天的软件市场。

我们需要找到并学习适合这个编程新时代的编程语言。

我们现在有几千种不同的编程语言,那么我们为什么要学Python呢?我猜您需要学习不止一种编程语言才能在今天的软件市场中生存下来,但是Python很容易学,因此它对于新程序员和更有经验的程序员都是一个很好的起点。

成为VIP会员查看完整内容
0
34

如果您是用Python编程的新手,并且正在寻找可靠的介绍,那么这本书就是为您准备的。由计算机科学教师开发,在“为绝对初学者”系列丛书通过简单的游戏创造教授编程的原则。您将获得实际的Python编程应用程序所需的技能,并将了解如何在真实场景中使用这些技能。在整个章节中,你会发现一些代码示例来说明所提出的概念。在每一章的结尾,你会发现一个完整的游戏,展示了这一章的关键思想,一章的总结,以及一系列的挑战来测试你的新知识。当你读完这本书的时候,你将非常精通Python,并且能够将你所学到的基本编程原理应用到你要处理的下一种编程语言。

成为VIP会员查看完整内容
0
107

管理统计和数据科学的原理包括:数据可视化;描述性措施;概率;概率分布;数学期望;置信区间;和假设检验。方差分析;简单线性回归;多元线性回归也包括在内。另外,本书还提供了列联表、卡方检验、非参数方法和时间序列方法。

教材:

  • 包括通常在入门统计学课程中涵盖的学术材料,但与数据科学扭曲,较少强调理论
  • 依靠Minitab来展示如何用计算机执行任务
  • 展示并促进来自开放门户的数据的使用
  • 重点是发展对程序如何工作的直觉
  • 让读者了解大数据的潜力和目前使用它的失败之处
成为VIP会员查看完整内容
1
95

对于语音计算领域的开发者来说,这是一个激动人心的时刻:谷歌上每4次搜索中就有1次是支持语音的,亚马逊Alexa刚刚超过1万个技能,WhatsApp上每天完成1亿个通话。但是你从哪里开始学习如何在这个领域编码呢?

无论您是一位经验丰富的开发人员还是刚刚起步,这本书都将指导您使用Python构建基于语音的应用程序。

  • 了解如何读/写、记录、清洁、加密、回放、转码、转录、压缩、发布、饱和化、建模和可视化语音文件
  • 从零开始创建自己的语音计算机和语音助手
  • 在Docker和Kubernetes上设计前沿的微服务服务器架构
  • 在GitHub存储库中访问200多个初始脚本
  • 参与到更大的开源语音社区中
成为VIP会员查看完整内容
0
60

这些笔记的第一个版本是为第一年的研究生代数课程编写的。和大多数这类课程一样,讲义集中在抽象群,特别是有限群。然而,大多数数学家遇到的群并不是抽象的群,而是代数群、拓扑群或李群,而且感兴趣的不仅仅是群本身,还有它们的线性表示。我的意图是(将来的某一天)扩展笔记以考虑到这一点,并制作一本规模适中(c200页)的书,为数学、物理和相关领域的刚开始学习的研究生提供更全面的关于群论的介绍。

成为VIP会员查看完整内容
0
65

在复杂的以人为中心的系统中,每天的决策都具有决策相关信息不完全的特点。现有决策理论的主要问题是,它们没有能力处理概率和事件不精确的情况。在这本书中,我们描述了一个新的理论的决策与不完全的信息。其目的是将决策分析和经济行为的基础从领域二价逻辑转向领域模糊逻辑和Z约束,从行为决策的外部建模转向组合状态的框架。

这本书将有助于在模糊逻辑,决策科学,人工智能,数学经济学,和计算经济学的专业人员,学者,经理和研究生。

读者:专业人士,学者,管理者和研究生在模糊逻辑,决策科学,人工智能,数学经济学,和计算经济学。

成为VIP会员查看完整内容
0
131

强化一词来源于实验心理学中对动物学习的研究,它指的是某一事件的发生,与某一反应之间有恰当的关系,而这一事件往往会增加该反应在相同情况下再次发生的可能性。虽然心理学家没有使用“强化学习”这个术语,但它已经被人工智能和工程领域的理论家广泛采用,用来指代基于这一强化原理的学习任务和算法。最简单的强化学习方法使用的是一个常识,即如果一个行为之后出现了一个令人满意的状态,或者一个状态的改善,那么产生该行为的倾向就会得到加强。强化学习的概念在工程领域已经存在了几十年(如Mendel和McClaren 1970),在人工智能领域也已经存在了几十年(Minsky 1954, 1961;撒母耳1959;图灵1950)。然而,直到最近,强化学习方法的发展和应用才在这些领域占据了大量的研究人员。激发这种兴趣的是两个基本的挑战:1) 设计能够在复杂动态环境中在不确定性下运行的自主机器人代理,2) 为非常大规模的动态决策问题找到有用的近似解。

成为VIP会员查看完整内容
0
141
小贴士
相关VIP内容
专知会员服务
85+阅读 · 2020年9月7日
专知会员服务
47+阅读 · 2020年9月3日
专知会员服务
34+阅读 · 2020年8月20日
专知会员服务
107+阅读 · 2020年8月14日
专知会员服务
95+阅读 · 2020年7月29日
专知会员服务
60+阅读 · 2020年7月12日
专知会员服务
65+阅读 · 2020年6月25日
专知会员服务
131+阅读 · 2020年6月24日
专知会员服务
141+阅读 · 2020年4月19日
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
Memory Augmented Graph Neural Networks for Sequential Recommendation
Chen Ma,Liheng Ma,Yingxue Zhang,Jianing Sun,Xue Liu,Mark Coates
11+阅读 · 2019年12月26日
Deep Learning in Video Multi-Object Tracking: A Survey
Gioele Ciaparrone,Francisco Luque Sánchez,Siham Tabik,Luigi Troiano,Roberto Tagliaferri,Francisco Herrera
34+阅读 · 2019年7月31日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Joaquin Vanschoren
113+阅读 · 2018年10月8日
Meta-Learning with Latent Embedding Optimization
Andrei A. Rusu,Dushyant Rao,Jakub Sygnowski,Oriol Vinyals,Razvan Pascanu,Simon Osindero,Raia Hadsell
6+阅读 · 2018年7月16日
Marc Brittain,Peng Wei
3+阅读 · 2018年5月18日
Simon Gottschalk,Elena Demidova
9+阅读 · 2018年4月12日
Badri Patro,Vinay P. Namboodir
6+阅读 · 2018年4月1日
Ali Javidani,Ahmad Mahmoudi-Aznaveh
4+阅读 · 2018年3月14日
Top