课程名称: Deep Learning and Bayesian Methods

课程介绍: 在Deep|Bayes暑期学校,我们将讨论如何将Bayes方法与Deep Learning相结合,并在机器学习应用程序中带来更好的结果。 最近的研究证明,贝叶斯方法的使用可以通过各种方式带来好处。 学校参与者将学习对理解当前机器学习研究至关重要的方法和技术。 他们还将具有使用概率模型来构建神经生成和判别模型的动手经验,学习神经网络的现代随机优化方法和正则化技术,并掌握推理神经网络及其权重不确定性的方法,预测。

部分邀请嘉宾: Maurizio Filippone,AXA计算统计主席,EURECOM副教授

Novi Quadrianto,萨塞克斯大学助理教授

课程大纲:

  • 贝叶斯方法介绍
  • 贝叶斯推理
  • EM算法
  • 随机变分推理与变分自编码器
  • GAN
  • 高斯分布与贝叶斯优化
  • 贝叶斯神经网络
成为VIP会员查看完整内容
schedule-2019.pdf
0
36

相关内容

贝叶斯方法是贝叶斯学习的基础,它提供了一种计算假设概率的方法,这种方法是基于假设的先验概率、给定假设下观察到不同数据的概率以及观察到的数据本身而得出的。其方法为,将关于未知参数的先验信息与样本信息综合,再根据贝叶斯公式,得出后验信息,然后根据后验信息去推断未知参数的方法。

从这些令人兴奋的课程中学习,让自己沉浸在深度学习、强化学习、机器学习、计算机视觉和NLP中!!

成为VIP会员查看完整内容
0
57

主题: Deep Sequence Modeling

简介:

  • 一个序列建模问题:预测下一个单词

  • 循环神经网络(RNNs)

  • 时间反向传播(BPTT)

  • 长短期记忆(LSTM)网络

  • RNN应用

成为VIP会员查看完整内容
0
30

主题: 《UvA Deep Learning Course》

课程描述: 深度学习主要是对多层神经网络的研究,它跨越了大量的模型结构。本课程在阿姆斯特丹大学人工智能硕士课程中授课。在本课程中,我们学习深度学习的理论,即在大数据上训练的现代多层神经网络的理论。

主讲人简介: Efstratios Gavves,阿姆斯特丹大学助理教授。个人主页:https://www.egavves.com/

成为VIP会员查看完整内容
1
15

课程名称: Deep Learning

课程简介:

深度机器学习的最新发展使视觉识别、语音和文本理解或自主智能体系统取得了前所未有的巨大进步。在此背景下,本课程将深入探讨深度学习架构的细节,重点是学习这些任务的端到端模型。学生将学习实施、训练和调试自己的神经网络,并对该领域的前沿研究有详细的了解。该课程还将介绍推理方法的最新创新,包括微分推理、对抗性训练和贝叶斯深度学习。

课程大纲:

  • 机器学习基础
  • 神经网络
  • 卷积神经网络
  • 训练神经网络
  • 递归神经网路
  • 自动编码器和生成模型
  • 生成式对抗网络
  • 不确定性
  • 对抗性攻击与防御

讲师介绍:

Gilles Louppe是比利时列日大学人工智能和深度学习的副教授。他曾是纽约大学物理系和数据科学中心的博士后助理,与欧洲核子研究中心的阿特拉斯实验关系密切。他的研究处于机器学习、人工智能和物理科学的交叉点上,他目前的研究兴趣包括使用和设计新的机器学习算法,以新的和变革性的方式处理来自基础科学的数据驱动的问题。个人官网: http://www.montefiore.ulg.ac.be/~glouppe

下载索引:链接:https://pan.baidu.com/s/1VP1jUnzLbESolEwU08-u9Q;提取码:b8j2

成为VIP会员查看完整内容
0
115

讲座题目

深层贝叶斯挖掘、学习与理解:Deep Bayesian Mining, Learning and Understanding

讲座简介

本教程介绍了自然语言的深度贝叶斯学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图像字幕生成、句子生成、对话控制、情感分类、推荐系统,问答和机器翻译,举几个例子。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、中餐馆过程、分层Pitman-Yor过程、印度自助餐过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码器,生成对抗网络,注意机制,记忆增强神经网络,跳跃神经网络,随机神经网络,预测状态神经网络,策略神经网络。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的案例研究,以解决深度贝叶斯挖掘、学习和理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

讲座嘉宾

Jen-Tzung Chien,詹增建于一九九七年获中华民国新竹国立清华大学电机工程博士学位。现任台湾新竹国立交通大学电机与电脑工程系及电脑科学系主任教授。2010年,他在纽约约克敦高地IBM T.J.沃森研究中心担任客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。

成为VIP会员查看完整内容
0
42

报告题目: Bayesian Deep Learning

报告摘要: 深度神经网络是连接主义系统,通过它通过学习例子来完成任务,而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点,并且可以通过随机梯度下降进行优化。贝叶斯方法可以用于学习神经网络权重的概率分布。贝叶斯深度学习与贝叶斯深度学习(如何对DNNs进行贝叶斯推理?如何学习分层结构的贝叶斯模型?),本篇报告给出一定解释。

嘉宾介绍: 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

成为VIP会员查看完整内容
Bayesian Deep Learning.pdf
0
53

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
41

课程介绍:

本课程介绍用于自然语言处理(NLP)的深度学习(DL)技术。与其他DL4NLP课程相反,我们将在一些讲座中对所有神经体系结构(例如CNN,RNN,注意力)进行一次旋风之旅。 然后,我们将在使用贝叶斯和马尔可夫网络学习结构化预测方面做出巨大的努力,并应用顺序标注,句法解析和句子生成。 在这个过程中,我们还将看到如何将这些传统方法与简单的神经网络相结合并加以改进。

主讲人:

Lili Mou博士是阿尔伯塔大学计算机科学系的助理教授。Lili分别于2012年和2017年在北京大学EECS学院获得了学士和博士学位。之后,他在滑铁卢大学(University of Waterloo)担任博士后,并在Adeptmind(加拿大多伦多的一家初创公司)担任研究科学家。他的研究兴趣包括应用于自然语言处理以及编程语言处理的深度学习。他在顶级会议和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母顺序)。

课程大纲:

神经网络基础

  • 分类任务与分类器
  • 深度神经网络
  • Embedding
  • 结构化输入表示

结构化预测

  • 贝叶斯网络
  • 马尔科夫网络与条件随机场
  • 语法解析

句子生成

  • 变分自编码器
  • 抽样与随机搜索

离散空间

  • NLP中的强化学习
  • 强化学习的神经松弛
成为VIP会员查看完整内容
0
14

本课程涵盖了机器学习和统计建模方面的广泛主题。 虽然将涵盖数学方法和理论方面,但主要目标是为学生提供解决实际中发现的数据科学问题所需的工具和原理。 本课程还可以作为基础,以提供更多专业课程和进一步的独立学习。 本课程是数据科学中心数据科学硕士学位课程核心课程的一部分。 此类旨在作为DS-GA-1001数据科学概论的延续,其中涵盖了一些重要的基础数据科学主题,而这些主题可能未在此DS-GA类中明确涵盖。

课程大纲

  • Week 1:统计学习理论框架
  • Week 2:随机梯度下降
  • Week 3:正则化,Lasso, 和 Elastic网,次梯度方法
  • Week 4:损失函数,SVM,代表定理
  • Week 5:核方法
  • Week 6:最大似然,条件概率
  • Week 7:期中
  • Week 8:贝叶斯方法
  • Week 9:贝叶斯条件概率,多分类
  • Week 10:分类和回归树
  • Week 11:bagging和随机森林,梯度提升
  • Week 12:K-Means,高斯混合模型
  • Week 13:EM算法
  • Week 14:神经网络,反向传播
成为VIP会员查看完整内容
kechengDS-GA1003-Spring2019.pdf
0
30

主题: Introduction to Machine Learning

课程简介: 机器学习是指通过经验自动提高性能的计算机程序(例如,学习识别人脸、推荐音乐和电影以及驱动自主机器人的程序)。本课程从不同的角度介绍机器学习的理论和实用算法。主题包括贝叶斯网络、决策树学习、支持向量机、统计学习方法、无监督学习和强化学习。本课程涵盖理论概念,例如归纳偏差、PAC学习框架、贝叶斯学习方法、基于边际的学习和Occam的剃刀。编程作业包括各种学习算法的实际操作实验。这门课程的目的是让一个研究生在方法论,技术,数学和算法方面有一个彻底的基础,目前需要的人谁做的机器学习的研究。

邀请嘉宾: Hal Daumé III,纽约市微软研究院的研究员,是机器学习小组的一员;他也是马里兰大学的副教授。他主要从事自然语言处理和机器学习。

Matt Gormley,卡内基梅隆大学计算机科学学院机器学习部(ML)助教。

Roni Rosenfeld,卡内基梅隆大学计算机学院机器学习系教授兼主任,个人主页:https://www.cs.cmu.edu/~roni/。等

成为VIP会员查看完整内容
0
26
小贴士
相关论文
Lu Liu,Tianyi Zhou,Guodong Long,Jing Jiang,Chengqi Zhang
12+阅读 · 2019年9月11日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
3+阅读 · 2019年4月10日
Accelerated Methods for Deep Reinforcement Learning
Adam Stooke,Pieter Abbeel
3+阅读 · 2019年1月10日
Tuomas Haarnoja,Aurick Zhou,Sehoon Ha,Jie Tan,George Tucker,Sergey Levine
3+阅读 · 2018年12月26日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Hierarchical Deep Multiagent Reinforcement Learning
Hongyao Tang,Jianye Hao,Tangjie Lv,Yingfeng Chen,Zongzhang Zhang,Hangtian Jia,Chunxu Ren,Yan Zheng,Changjie Fan,Li Wang
4+阅读 · 2018年9月25日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
4+阅读 · 2018年6月5日
Tianyu Yang,Antoni B. Chan
8+阅读 · 2018年3月20日
Top