课程题目

在线变分推断:A Regret Bound for Online Variational Inference

课程介绍

本课程重点讲述了在线变分推理在机器学习的强大之处,提出了一种近似后验的快速算法,将应用它在CIFAR-10、ImageNet上训练深层神经网络,改进不确定度量化。

课程作者

Badr-EddineChérief-Abdellatif,

Pierre Alquier,RIKEN高级情报中心项目贝叶斯近似推理小组研究员。

Emtiyaz Khan,东京RIKEN 高级智能项目(AIP)中心的团队负责人,东京农业科技大学(TUAT)电子工程系的客座教授。

成为VIP会员查看完整内容
5+
0+

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】2020新年伊始,多伦多大学Amir-massoud Farahmand和Emad A. M. Andrews博士开设了机器学习导论课程,介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

课程地址:

https://amfarahmand.github.io/csc311/

机器学习(ML)是一组技术,它允许计算机从数据和经验中学习,而不需要人工指定所需的行为。ML在人工智能作为一个学术领域和工业领域都变得越来越重要。本课程介绍了机器学习的主要概念和思想,并概述了许多常用的机器学习算法。它还可以作为更高级的ML课程的基础。

本课程结束时,学生将学习(大致分类)

  • 机器学习问题:监督(回归和分类),非监督(聚类,降维),强化学习

  • 模型:线性和非线性(基扩展和神经网络)

  • 损失函数:平方损失、交叉熵、铰链、指数等。

  • Regularizers: l1和l2

  • 概率观点:最大似然估计,最大后验,贝叶斯推理

  • 偏差和方差的权衡

  • 集成方法:Bagging 和 Boosting

  • ML中的优化技术: 梯度下降法和随机梯度下降法

课程目录:

参考资料:

(ESL) Trevor Hastie, Robert Tibshirani, and Jerome Friedman, The Elements of Statistical Learning, 2009.

(PRML) Christopher M. Bishop, Pattern Recognition and Machine Learning, 2006.

(RL) Richard S. Sutton and Andrew G. Barto Reinforcement Learning: An Introduction, 2018.

(DL) Ian Goodfellow, Yoshua Bengio and Aaron Courville (2016), Deep Learning

(MLPP) Kevin P. Murphy, Machine Learning: A Probabilistic Perspective, 2013.

(ISL) Gareth James, Daniela Witten, Trevor Hastie, and Robert Tibshirani, Introduction to Statistical Learning, 2017.

() Shai Shalev-Shwartz and Shai Ben-David Understanding Machine Learning: From Theory to Algorithms, 2014.

(ITIL) David MacKay, Information Theory, Inference, and Learning Algorithms, 2003.

成为VIP会员查看完整内容
6+
0+

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
66+
0+

论文题目

vGraph:联合社区检测和节点表示学习的生成模型,vGraph: A Generative Model for Joint Community Detection and Node Representational Learning

论文简介

本文研究了图分析的两个基本任务:社区检测和节点表示学习,它们分别捕获图的全局和局部结构。在目前的文献中,这两个任务通常是独立研究的,而实际上是高度相关的。我们提出了一个概率生成模型vGraph来协同学习社区成员和节点表示。具体地说,我们假设每个节点可以表示为一个社区的混合体,并且每个社区被定义为节点上的多项式分布。混合系数和社团分布通过节点和社区的低维表示来参数化。设计了一种有效的变分推理算法,使邻域节点在潜在空间中的隶属度趋于一致。在多个真实世界图上的实验结果表明,vGraph在社区检测和节点表示学习方面都非常有效,在这两个任务上都优于许多竞争基线。我们表明,该框架是非常灵活的,可以很容易地扩展到检测层次社区。

论文亮点

本文提出了一种新的学习节点表示的方法,同时利用变分推理的概念建立生成模型,对图形数据进行社区检测。作者提出了一个联合学习社区检测和节点表示的生成模型,这两个任务虽然高度相关,但在以往的文献中大多是独立研究的。为了实现这一点,假设每个节点可以表示为一个混合的社区,并且每个社区被定义为节点上的多项式分布。因此,利用节点和社区嵌入来生成给定节点的

论文作者

Fan-Yun Sun, Meng Qu, Jordan Hoffmann, Chin-Wei Huang, Jian Tang,分别来自台湾国立大学、Mila-Quebec学习算法研究所,加拿大、美国哈佛大学、元素AI,加拿大、加拿大蒙特利尔高等商学院。

成为VIP会员查看完整内容
10+
0+

讲座题目

深层贝叶斯挖掘、学习与理解:Deep Bayesian Mining, Learning and Understanding

讲座简介

本教程介绍了自然语言的深度贝叶斯学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图像字幕生成、句子生成、对话控制、情感分类、推荐系统,问答和机器翻译,举几个例子。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、中餐馆过程、分层Pitman-Yor过程、印度自助餐过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码器,生成对抗网络,注意机制,记忆增强神经网络,跳跃神经网络,随机神经网络,预测状态神经网络,策略神经网络。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的案例研究,以解决深度贝叶斯挖掘、学习和理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

讲座嘉宾

Jen-Tzung Chien,詹增建于一九九七年获中华民国新竹国立清华大学电机工程博士学位。现任台湾新竹国立交通大学电机与电脑工程系及电脑科学系主任教授。2010年,他在纽约约克敦高地IBM T.J.沃森研究中心担任客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。

成为VIP会员查看完整内容
16+
0+

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
17+
0+

主题: Tractable Probabilistic Models: Representations, Algorithms, Learning, and Applications

摘要: 在本教程中,我们将提供一个丰富的TPM文献的额外说明,从有关混合和树模型的开创性工作开始,到最新的表示,如概率电路。在这样做的同时,我们将强调概率推理和学习中难处理性的来源,回顾不同可处理表示所采用的解决方案来克服它们,并讨论它们是如何权衡以保证可处理性的。此外,我们将放大当前最先进的胎压监测系统,分离并理解填充这一领域的模型(ACs、CNs、DNNFs、d-DNNFs、OBDDs、PSDDs、SDD、SPN等)的“字母汤”。我们将展示如何在一个统一的框架下将这些模型表示为概率电路,讨论哪些结构属性描述了每个模型类并实现了不同类型的可跟踪性。我们将讨论主要的算法范例,从数据中自动学习TPMs的结构和参数。最后,我们将展示几个成功的应用场景,其中TPMs被用作替代或与难处理模型结合使用,包括图像分类、完成和生成、场景理解、活动识别、语言和语音建模、生物信息学、协作过滤、验证和诊断。

邀请嘉宾:

Guy Van den Broeck,是加州大学洛杉矶分校计算机科学系的助理教授和Samueli研究员,负责指导统计和关系人工智能(StarAI)实验室。他的研究兴趣是机器学习(统计关系学习、可处理学习、概率编程),知识表示和推理(概率图形模型、提升概率推理、知识汇编、概率数据库)和一般人工智能。盖伊的作品获得了UAI、ILP和KR等主要人工智能领域的最佳论文奖,并在AAAI获得杰出论文荣誉奖。

Nicola Di Mauro,他自2005年起担任巴里奥尔多莫罗大学计算机科学系助理教授,是拉康实验室机器学习小组的成员。2005年,他在巴里-奥尔多-莫罗大学获得博士学位。他的主要研究方向是统计关系学习、概率深度学习和机器学习及其应用。

Antonio Vergari,他目前是加州大学洛杉矶分校(UCLA)StarAI实验室的博士后研究员,致力于整合可处理的概率推理和深度表示。此前,他是德国图宾根马克斯普朗克智能系统研究所的博士后,在那里,他致力于通过可处理的概率模型实现机器学习和数据科学的自动化。

成为VIP会员查看完整内容
4+
0+

课程名称: Deep Learning and Bayesian Methods

课程介绍: 在Deep|Bayes暑期学校,我们将讨论如何将Bayes方法与Deep Learning相结合,并在机器学习应用程序中带来更好的结果。 最近的研究证明,贝叶斯方法的使用可以通过各种方式带来好处。 学校参与者将学习对理解当前机器学习研究至关重要的方法和技术。 他们还将具有使用概率模型来构建神经生成和判别模型的动手经验,学习神经网络的现代随机优化方法和正则化技术,并掌握推理神经网络及其权重不确定性的方法,预测。

部分邀请嘉宾: Maurizio Filippone,AXA计算统计主席,EURECOM副教授

Novi Quadrianto,萨塞克斯大学助理教授

课程大纲:

  • 贝叶斯方法介绍
  • 贝叶斯推理
  • EM算法
  • 随机变分推理与变分自编码器
  • GAN
  • 高斯分布与贝叶斯优化
  • 贝叶斯神经网络
成为VIP会员查看完整内容
schedule-2019.pdf
17+
0+

普林斯顿大学在19年春季学期,开设了COS 598D《机器学习优化》课程,课程主要介绍机器学习中出现的优化问题,以及解决这些问题的有效算法。前不久,课程教授Elad Hazan将其精心准备的课程讲义开放了出来,讲义内容详实循序渐进,非常适合想要入门机器学习的同学阅读。

COS 598D:Optimization for Machine Learning(机器学习优化)是普林斯顿大学在19年春季学期开设的课程。课程主要介绍机器学习中出现的优化问题,以及解决这些问题的有效算法。

课程内容涵盖:

  • Introduction to convex analysis
  • first-order methods, convergence analysis
  • generalization and regret minimization
  • regularization
  • gradient descent++:
    • acceleration
    • variance reduction
    • adaptive preconditioning
  • 2nd order methods in linear time
  • projection-free methods and the Frank-Wolfe algorithm
  • zero-order optimization, convex bandit optimization
  • optimization for deep learning: large scale non-convex optimization
成为VIP会员查看完整内容
9+
0+
Top