报告主题: On Statistical Thinking in Deep Learning

报告简介:

在过去的二十年形成了一系列成功的机器学习方法,影响了许多这个领域研究人员的思维,而深度学习的兴起彻底改变了这个领域。在这次演讲中,将探讨深度学习中的统计思维,统计思维如何帮助我们理解深度学习方法或者引导我们开发出有趣的新方法,或者深度学习技术如何帮助我们开发先进的统计方法。

嘉宾介绍:

Yee Whye Teh是牛津大学统计学教授,他于2003年获得多伦多大学计算机博士学位,师从Geroffery Hinton。获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。

成为VIP会员查看完整内容
0
38

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自牛津大学Yee Whye Teh教授讲述《元学习》,165页ppt系统性讲述了元学习基础知识和最新进展,非常干货。

地址: http://mlss.tuebingen.mpg.de/2020/schedule.html

作者介绍

Yee Whye Teh是牛津大学统计学系的统计机器学习教授,也是DeepMind研究人工智能的科学家。他在多伦多大学(Geoffrey E. Hinton教授)获得博士学位,并在加州大学伯克利分校(Michael I. Jordan教授)和新加坡国立大学(Lee Kuan Yew博士后研究员)从事博士后工作。在进入牛津大学和DeepMind之前,他是一名讲师,后来在伦敦大学学院(UCL)盖茨比计算神经科学单元(Gatsby computing Neuroscience Unit)担任读者。他计划联合主席(Michael Titterington教授)人工智能国际会议和统计(AISTATS) 2010年,项目主持国际会议(Precup试图教授)在2017年机器学习(ICML),和am /贝叶斯分析的副主编,IEEE模式分析与机器智能,机器学习日报,统计科学,英国皇家统计学会期刊B辑和机器学习研究期刊。他曾多次担任NIPS、ICML和AISTATS的区域主席。他的研究兴趣横跨机器学习和计算统计学,包括概率方法、贝叶斯非参数学和深度学习。他开发了新颖的模型以及高效的推理和学习算法。

http://csml.stats.ox.ac.uk/people/teh/

成为VIP会员查看完整内容
0
66

在过去几年里,注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制,包括任何深度网络中的内隐注意力,以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络,并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer,一种特别成功的注意力网络类型,最后看可变计算时间,这可以被视为一种形式的“注意力集中”。

地址:

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位,在剑桥大学(University of Cambridge)完成了数学的第三部分,在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位,之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法,随机梯度变分推理,神经图灵机/可微分神经计算机架构,以及用于强化学习的A2C算法。

关于讲座系列:

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中,深度学习已发展成为领先的人工智能范例,使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。

在本系列讲座中,来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的 负责任的创新主题。

深度学习注意力与记忆机制

成为VIP会员查看完整内容
0
76

题目: A Survey on Distributed Machine Learning

简介: 在过去十年中,对人工智能的需求已显着增长,并且这种增长得益于机器学习技术的进步以及利用硬件加速的能力,但是,为了提高预测质量并在复杂的应用程序中提供可行的机器学习解决方案,需要大量的训练数据。尽管小型机器学习模型可以使用一定数量的数据进行训练,但用于训练较大模型(例如神经网络)的输入与参数数量成指数增长。由于处理训练数据的需求已经超过了计算机器的计算能力的增长,因此急需在多个机器之间分配机器学习工作量,并将集中式的精力分配到分配的系统上。这些分布式系统提出了新的挑战,最重要的是训练过程的科学并行化和相关模型的创建。本文通过概述传统的(集中的)机器学习方法,探讨了分布式机器学习的挑战和机遇,从而对当前的最新技术进行了广泛的概述,并对现有的技术进行研究。

成为VIP会员查看完整内容
0
40

报告主题: Capsule Architectures

报告简介:

目前的神经网络中,每一层的神经元都做的是类似的事情,为了避免网络结构的杂乱无章,Hinton提出把关注同一个类别或者同一个属性的神经元打包集合在一起,好像胶囊一样。在神经网络工作时,这些胶囊间的通路形成稀疏激活的树状结构,从而形成了Capsule理论。在此次报告主要讲述了胶囊架构,并对未来的发展方向作了规划。

嘉宾介绍:

Geoff Hinton是英国出生的加拿大计算机学家和心理学家,多伦多大学教授。以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者,被誉为“深度学习之父”。辛顿因在深度学习方面的贡献与约书亚·本希奥和杨立昆一同被授予了2018年的图灵奖。

Yee Whye Teh是牛津大学统计学教授,他于2003年获得多伦多大学计算机博士学位,师从Geroffery Hinton。获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。

成为VIP会员查看完整内容
0
22

报告题目: Bayesian Deep Learning

报告摘要: 深度神经网络是连接主义系统,通过它通过学习例子来完成任务,而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点,并且可以通过随机梯度下降进行优化。贝叶斯方法可以用于学习神经网络权重的概率分布。贝叶斯深度学习与贝叶斯深度学习(如何对DNNs进行贝叶斯推理?如何学习分层结构的贝叶斯模型?),本篇报告给出一定解释。

嘉宾介绍: 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

成为VIP会员查看完整内容
Bayesian Deep Learning.pdf
0
45

课程名称: Deep Learning and Bayesian Methods

课程介绍: 在Deep|Bayes暑期学校,我们将讨论如何将Bayes方法与Deep Learning相结合,并在机器学习应用程序中带来更好的结果。 最近的研究证明,贝叶斯方法的使用可以通过各种方式带来好处。 学校参与者将学习对理解当前机器学习研究至关重要的方法和技术。 他们还将具有使用概率模型来构建神经生成和判别模型的动手经验,学习神经网络的现代随机优化方法和正则化技术,并掌握推理神经网络及其权重不确定性的方法,预测。

部分邀请嘉宾: Maurizio Filippone,AXA计算统计主席,EURECOM副教授

Novi Quadrianto,萨塞克斯大学助理教授

课程大纲:

  • 贝叶斯方法介绍
  • 贝叶斯推理
  • EM算法
  • 随机变分推理与变分自编码器
  • GAN
  • 高斯分布与贝叶斯优化
  • 贝叶斯神经网络
成为VIP会员查看完整内容
schedule-2019.pdf
0
29

题目: Safe Machine Learning

简介:

随着我们将ML应用到越来越多的现实任务中,我们正在走向一个ML将在未来社会中扮演越来越重要角色。因此,解决安全问题正成为一个日益紧迫的问题。一般来说,我们可以将当前的安全研究分为三个领域:规范、健壮性和保证。规范关注于调查和开发技术,以减轻由于目标仅仅是期望的替代者而可能出现的系统不期望的行为。这种情况可能会发生,例如,当对包含历史偏差的数据集进行训练时,或者在真实环境中尝试度量增强学习智能体的进度时鲁棒性处理在推断新数据和响应敌对输入时处理系统故障。

Assurance涉及到开发方法,使我们能够理解本质上不透明和黑箱的系统,并在操作期间控制它们。本教程将概述这三个领域,特别关注规范,更具体地说,关注增强学习智能体的公平性和一致性。其目的是激发从事不同安全领域的研究人员之间的讨论。

邀请嘉宾:

Silvia Chiappa是DeepMind机器学习方面的研究科学家。她拥有数学文凭和机器学习博士学位。在加入DeepMind之前,Silvia Chiappa曾在马克斯-普朗克智能系统研究所的经验推理部门、微软剑桥研究院的机器智能与感知小组以及剑桥大学的统计实验室工作。她的研究兴趣是基于贝叶斯和因果推理,图形模型,变分推理,时间序列模型,ML公平性和偏差。

Jan Leike是DeepMind的高级研究科学家,他在那里研究智能体对齐问题。他拥有澳大利亚国立大学的计算机科学博士学位,在那里他致力于理论强化学习。在加入DeepMind之前,他是牛津大学的博士后研究员。Jan的研究兴趣是人工智能安全、强化学习和技术人工智能治理。

成为VIP会员查看完整内容
0
9
小贴士
相关论文
Wenwu Zhu,Xin Wang,Peng Cui
14+阅读 · 1月2日
Bernhard Schölkopf
4+阅读 · 2019年11月24日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
6+阅读 · 2019年1月16日
Ziwei Zhang,Peng Cui,Wenwu Zhu
34+阅读 · 2018年12月11日
Deep Reinforcement Learning: An Overview
Yuxi Li
8+阅读 · 2018年11月26日
Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst,Alvaro Sanchez-Gonzalez,Vinicius Zambaldi,Mateusz Malinowski,Andrea Tacchetti,David Raposo,Adam Santoro,Ryan Faulkner,Caglar Gulcehre,Francis Song,Andrew Ballard,Justin Gilmer,George Dahl,Ashish Vaswani,Kelsey Allen,Charles Nash,Victoria Langston,Chris Dyer,Nicolas Heess,Daan Wierstra,Pushmeet Kohli,Matt Botvinick,Oriol Vinyals,Yujia Li,Razvan Pascanu
5+阅读 · 2018年10月17日
Mobile big data analysis with machine learning
Jiyang Xie,Zeyu Song,Yupeng Li,Zhanyu Ma
4+阅读 · 2018年8月2日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Alexander Trott,Caiming Xiong,Richard Socher
4+阅读 · 2018年3月2日
Ju Dai,Pingping Zhang,Huchuan Lu,Hongyu Wang
5+阅读 · 2018年2月22日
Top