报告主题: On Statistical Thinking in Deep Learning

报告简介:

在过去的二十年形成了一系列成功的机器学习方法,影响了许多这个领域研究人员的思维,而深度学习的兴起彻底改变了这个领域。在这次演讲中,将探讨深度学习中的统计思维,统计思维如何帮助我们理解深度学习方法或者引导我们开发出有趣的新方法,或者深度学习技术如何帮助我们开发先进的统计方法。

嘉宾介绍:

Yee Whye Teh是牛津大学统计学教授,他于2003年获得多伦多大学计算机博士学位,师从Geroffery Hinton。获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。

成为VIP会员查看完整内容
19+
0+

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

报告主题: Capsule Architectures

报告简介:

目前的神经网络中,每一层的神经元都做的是类似的事情,为了避免网络结构的杂乱无章,Hinton提出把关注同一个类别或者同一个属性的神经元打包集合在一起,好像胶囊一样。在神经网络工作时,这些胶囊间的通路形成稀疏激活的树状结构,从而形成了Capsule理论。在此次报告主要讲述了胶囊架构,并对未来的发展方向作了规划。

嘉宾介绍:

Geoff Hinton是英国出生的加拿大计算机学家和心理学家,多伦多大学教授。以其在类神经网络方面的贡献闻名。辛顿是反向传播算法和对比散度算法的发明人之一,也是深度学习的积极推动者,被誉为“深度学习之父”。辛顿因在深度学习方面的贡献与约书亚·本希奥和杨立昆一同被授予了2018年的图灵奖。

Yee Whye Teh是牛津大学统计学教授,他于2003年获得多伦多大学计算机博士学位,师从Geroffery Hinton。获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。

成为VIP会员查看完整内容
14+
0+

主题: Mathematics of Deep Learning

摘要: 本教程将介绍一些深神经网络的理论结果,其目的是为属性提供数学证明,如逼近能力、收敛性、全局最优性、不变性、学习表征的稳定性、泛化误差等。讨论了该理论在神经网络训练中的应用。本教程将从90年代早期的神经网络理论(包括著名的Hornik等人的研究成果)开始。还有Cybenko)。接下来,我们将讨论过去五年中为深度学习而建立的最新理论成果。文中还将讨论该理论所遵循的实际考虑。

邀请嘉宾: Raja Giryes,是特拉维夫大学电气工程学院的助理教授。他获得了海拉以色列理工学院计算机科学系理学学士(2007)、理学硕士(M.Elad教授和Y.C.Eldar教授监督,2009)和博士(M.Elad教授监督,2014)学位。Raja是Technion(2013年11月至2014年7月)计算机科学系和杜克大学G.Sapiro教授实验室(2014年7月和2015年8月)的博士后。他的研究兴趣在于信号和图像处理与机器学习的交叉点,特别是在深度学习、反问题、稀疏表示和信号和图像建模方面。Raja获得了EURASIP最佳博士奖、ERC StG奖、Maof优秀青年教师奖(2016-2019)、VATAT优秀博士后奖学金(2014-2015)、英特尔研究与卓越奖(2005、2013),德克萨斯仪器公司(2008)颁发的信号处理卓越奖(ESPA),是Azrieli研究员计划(2010-2013)的一部分。

下载链接: 链接:https://pan.baidu.com/s/1tHvvi7codVe4kdb1quZB1w 提取码:99fm

成为VIP会员查看完整内容
10+
0+

摘要:在这次演讲中,我将带领听众回顾我在建立神经序列模型方面的早期和近期经历。我从早期使用循环网络进行seq2seq学习的经验出发,讨论了注意机制。我讨论了这些早期方法成功背后的因素,以及这些方法是如何被社区所接受的,甚至是在它们还没有成型之前。然后,我会转向讲非常规神经序列模型的最新研究方向以及该模型可以自动学习确定生成的顺序。

报告人简介:Kyunghyun Cho是纽约大学计算机科学和数据科学副教授,也是Facebook人工智能研究中心的研究科学家。在2015年夏之前,他一直是蒙特利尔大学的博士后研究员,在yobengio教授的指导下,并于2014年初在Juha Karhunen教授、Tapani Raiko博士和Alexander Ilin博士的指导下获得了阿尔托大学的博士和硕士学位。

成为VIP会员查看完整内容
5+
0+

报告主题:Universal Features-Information Extraction for Transfer Learning

报告摘要:深度神经网络已成功地在广泛的应用中使用。从概念上讲,我们知道数据和标签之间的统计相关性是已知的,并且条件分布的一些近似版本存储在DNN的权重中。通过尝试了解DNN的操作,我们的目标是对统计量在网络内部的表示方式进行数学解释,以便我们可以将存储在一个DNN中的学习知识与其他来源的知识(例如先验知识)集成在一起,结构知识,其他神经网络的学习成果,或者只是将其用于新的相关问题中。在本次演讲中,我们试图通过建立一种理论结构来解决该问题,该结构可以通过信息与特定推理问题的相关性来衡量信息的含义,并以此来解释神经网络在提取“通用特征”(定义为解决方案)时的行为。针对特定的优化问题。我们表明,这种学习过程与统计学和信息论中的许多著名概念紧密相关。基于此理论框架,我们展示了一些在转移学习中使用神经网络的灵活方法,特别是结合了一些常规的信号处理技术。

邀请嘉宾:郑立中(Lizhong Zheng)于1994和1997年在清华大学电子工程系获得学士和硕士学位,2002年在加州大学伯克利分校电气和计算机工程系获博士学位,并到麻省理工学院(MIT) 电气和计算机科学系任教。目前是该系全职教授,IEEE Fellow。主要从事信息论、无线通信和统计干扰理论研究。曾获得IEEE 信息理论学会论文奖、美国国家自然基金会CAREER奖和AFOSR 年轻研究学者奖。 近年来在信息论、信息几何、有损信息处理、网络信息论模型训练和社区发现等最新信息理论及其在通信和大数据等方面的应用有着开创性的研究。

成为VIP会员查看完整内容
7+
0+

主题: A Primer on PAC-Bayesian Learning

摘要: 在过去的几年里,PAC-Bayesian方法已经被应用到很多领域,包括分类、高维稀疏回归、大随机矩阵的图像去噪和重建、推荐系统和协作过滤、二进制排序、在线排序、转移学习、多视图学习,信号处理,仅举几个例子。arXiv上的“PAC-Bayes”查询说明了PAC-Bayes是如何作为一种有效解决现代机器学习问题的原则性理论迅速重新出现的,例如使用重尾和相关数据学习,或深层神经网络泛化能力。本教程的目的是提供ICML观众全面的概述PAC贝叶斯,从统计学习理论(复杂性术语分析,泛化和Oracle界限)和覆盖算法(实际实现的PAC贝叶斯算法)的发展,直到最近PAC贝叶斯分析的深层神经网络泛化能力。

邀请嘉宾: Benjamin Guedj是Inria(法国)的终身研究科学家和伦敦大学学院(英国)的高级研究科学家。他的主要研究领域是统计学习理论、PAC-Bayes、机器学习和计算统计学。2013年,他在索邦大学(前法国皮埃尔大学和玛丽·居里大学)获得数学博士学位。

John Shawe Taylor,他是伦敦大学学院(University College London)计算机科学系主任在图论、密码学、统计学习理论及其应用等领域做出了贡献。然而,他的主要贡献是发展了基于统计学习理论的机器学习算法的分析和随后的算法定义。这项工作有助于通过引入核心方法和支持向量机来推动机器学习领域的根本性重生,推动这些方法映射到新的领域,包括计算机视觉、文档分类以及聚焦于脑扫描、免疫和蛋白质组分析。他发表了300多篇论文和两本书,吸引了6.2万多条引文。

成为VIP会员查看完整内容
7+
0+
Top