非凸优化是机器学习中的基础问题,迭代优化方法缺乏理论支撑。普林斯顿大学助理教授Yuxin Chen一直从事非凸优化方面的研究,这份报告讲述了最近关于非凸统计估计的故事,它们强调了统计模型在实现有效的非凸优化中的重要作用。

Yuxin Chen 目前是普林斯顿大学电气工程系的助理教授。在加入普林斯顿大学之前,他是斯坦福大学统计系的博士后学者,并在斯坦福大学完成了电子工程博士学位。他的研究兴趣包括高维统计、凸与非凸优化、统计学习和信息论。他获得了2019年AFOSR青年研究员奖。

http://www.princeton.edu/~yc5/

非凸优化与统计学

近年来,利用非凸优化方法来解决统计估计和学习问题的研究工作层出不穷。由于非凸优化算法易受虚假局部极小值的影响,传统工作通常对其持悲观看法,而简单的迭代方法,如梯度下降法,在实践中已经取得了显著的成功。然而,直到最近,这些理论基础在很大程度上一直缺乏。这个报告展示了两个最近关于非凸统计估计的故事,它们强调了统计模型在实现有效的非凸优化中的重要作用。第一个故事是关于一个相位检索问题的随机初始化非凸方法:即使没有仔细的初始化,像梯度下降这样的简单算法也可以在对数迭代次数内找到全局解。第二个故事是关于非凸低秩矩阵补全的不确定性量化。我们在非凸估计的基础上开发了一个去偏估计器,使未知矩阵缺失项的置信区间能得到最优构造。所有这些都是通过一个“一留一出”的统计分析框架实现的,该框架在处理和解耦复杂的统计依赖方面非常强大。

https://events.seas.upenn.edu/event/priml-seminar-nonconvex-optimization-meets-statistics-a-few-recent-stories/

成为VIP会员查看完整内容
0
42

相关内容

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自牛津大学Yee Whye Teh教授讲述《元学习》,165页ppt系统性讲述了元学习基础知识和最新进展,非常干货。

地址: http://mlss.tuebingen.mpg.de/2020/schedule.html

作者介绍

Yee Whye Teh是牛津大学统计学系的统计机器学习教授,也是DeepMind研究人工智能的科学家。他在多伦多大学(Geoffrey E. Hinton教授)获得博士学位,并在加州大学伯克利分校(Michael I. Jordan教授)和新加坡国立大学(Lee Kuan Yew博士后研究员)从事博士后工作。在进入牛津大学和DeepMind之前,他是一名讲师,后来在伦敦大学学院(UCL)盖茨比计算神经科学单元(Gatsby computing Neuroscience Unit)担任读者。他计划联合主席(Michael Titterington教授)人工智能国际会议和统计(AISTATS) 2010年,项目主持国际会议(Precup试图教授)在2017年机器学习(ICML),和am /贝叶斯分析的副主编,IEEE模式分析与机器智能,机器学习日报,统计科学,英国皇家统计学会期刊B辑和机器学习研究期刊。他曾多次担任NIPS、ICML和AISTATS的区域主席。他的研究兴趣横跨机器学习和计算统计学,包括概率方法、贝叶斯非参数学和深度学习。他开发了新颖的模型以及高效的推理和学习算法。

http://csml.stats.ox.ac.uk/people/teh/

成为VIP会员查看完整内容
0
66

有噪声矩阵补全的目的是估计一个低秩矩阵只给出部分和损坏的项。尽管在设计有效的估计算法方面取得了实质性的进展,但如何评估所获得估计的不确定性以及如何对未知矩阵执行统计推断(例如,为一个未见的条目构造一个有效的和短的置信区间)仍在很大程度上不清楚。这篇报告向有噪声矩阵补全的推理和不确定性量化迈出了一步。我们开发了一个简单的方法来补偿广泛使用的凸估计量和非凸估计量的偏差。所得到的去偏估计量承认了近乎精确的非渐近分布特征,这进而使得诸如缺失项和低秩因子的置信区间/区域的最优构造成为可能。我们的推理过程不依赖于样本分裂,从而避免了数据效率的不必要损失。作为一个副产品,我们得到了对我们的去偏估计的估计精度的一个清晰的表征,据我们所知,这是第一个可证明实现完全统计效率(包括前置常数)的可控算法。本文的分析建立在凸和非凸优化之间的密切联系上。

成为VIP会员查看完整内容
0
18

凸优化作为一个数学问题已经被研究了一个多世纪,并在许多应用领域的实践中应用了大约半个世纪,包括控制、金融、信号处理、数据挖掘和机器学习。本文主要研究凸优化的几个问题,以及机器学习的具体应用。

成为VIP会员查看完整内容
0
50

摘要:

本文将优化描述为一个过程。在许多实际应用中,环境是如此复杂,以致于无法制定一个全面的理论模型,并使用经典算法理论和数学优化。采取一种稳健的方法是必要的,也是有益的,方法是应用一种不断学习的优化方法,在观察到问题的更多方面时从经验中学习。这种将优化视为一个过程的观点在各个领域都很突出,并在建模和系统方面取得了一些惊人的成功,现在它们已经成为我们日常生活的一部分。

作者介绍:

Elad Hazan是普林斯顿大学计算机科学教授。他于2015年从Technion毕业,当时他是该校运筹学副教授。他的研究重点是机器学习和优化的基本问题的算法设计和分析。他的贡献包括合作开发用于训练学习机器的AdaGrad算法,以及第一个用于凸优化的次线性时间算法。他曾(两次)获得2012年IBM Goldberg最佳论文奖,以表彰他对机器学习的次线性时间算法的贡献。2008年,他还获得了欧洲研究理事会(European Research Council)的一笔拨款、玛丽•居里(Marie Curie)奖学金和谷歌研究奖(两次)。他是计算学习协会的指导委员会成员,并担任COLT 2015的项目主席。

https://www.cs.princeton.edu/~ehazan/

成为VIP会员查看完整内容
0
84

报告主题: On Statistical Thinking in Deep Learning

报告简介:

在过去的二十年形成了一系列成功的机器学习方法,影响了许多这个领域研究人员的思维,而深度学习的兴起彻底改变了这个领域。在这次演讲中,将探讨深度学习中的统计思维,统计思维如何帮助我们理解深度学习方法或者引导我们开发出有趣的新方法,或者深度学习技术如何帮助我们开发先进的统计方法。

嘉宾介绍:

Yee Whye Teh是牛津大学统计学教授,他于2003年获得多伦多大学计算机博士学位,师从Geroffery Hinton。获得多伦多大学的博士学位,郑怀宇在美国加州大学伯克利分校和新加坡国立大学从事博士后工作,研究方向是机器学习和计算统计学,特别是图形模型、贝叶斯非参数和表征学习。他还多次担任NIPS、ICML和AISTATS的领域主席(area chair)。

成为VIP会员查看完整内容
0
38

报告摘要: 构建统计机器学习方法进行图上预测是很多应用的基础问题,例如知识图谱的半监督节点分类和链接预测。传统的统计关联学习方法和近年来发展起来的图神经网络都对这类问题进行了广泛的研究。在这次演讲中,将介绍结合这两个领域的优势来进行图预测和推理所做的努力。以及结合条件随机域和semi-supervised节点的神经网络分类(图马尔可夫神经网络,ICML 19)和最近的研究在结合马尔可夫逻辑网络和知识图谱嵌入(概率逻辑神经网络)的推理。

在这次报告中,作者将介绍今年的ICML2019论文(GMNN: Graph Markov Neural Networks)。研究了关系数据中的半监督对象分类问题,这是关系数据建模中的一个基本问题。这个问题在统计相关学习(如关联马尔科夫网络)和图神经网络(如图卷积网络)的文献中得到了广泛的研究。统计相关学习方法可以通过条件随机域对对象标签的依赖关系进行有效的建模,实现集体分类,而图神经网络则通过端到端训练来学习有效的对象表示,实现分类。在这篇论文中,他们提出了结合这两个领域的优势的图马尔可夫神经网络(GMNN)。GMNN利用条件随机场对目标标签的联合分布进行建模,利用变分EM算法对其进行有效训练。 在E-step中,一个图神经网络学习有效的对象表示来近似对象标签的后验分布。 在M -步骤中,使用另一个图神经网络对局部标签依赖关系进行建模 。在目标分类、链路分类和无监督节点表示学习等方面的实验表明,该算法取得了较好的效果。

嘉宾介绍: 唐建博士自2017年12月起担任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度图表示学习,在知识图谱、药物发现和推荐系统等领域有着广泛的应用。他是密歇根大学和卡内基梅隆大学的研究员。他在北京大学获得博士学位,并在密歇根大学做了两年的访问学者。他在微软亚洲研究院做了两年的研究员。他在图表示学习(如LINE、LargeVis和RotatE)方面的工作得到了广泛的认可。他获得了ICML ' 14的最佳论文奖和WWW ' 16的最佳论文提名。个人主页

报告部分纲要:

  • 图结构数据
  • 关联预测与推理
  • 统计关联学习
  • 图表示学习
  • 知识图谱
  • 马尔科夫逻辑网络
成为VIP会员查看完整内容
0
45
小贴士
相关论文
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
8+阅读 · 2019年6月2日
Cross-Modal Self-Attention Network for Referring Image Segmentation
Linwei Ye,Mrigank Rochan,Zhi Liu,Yang Wang
6+阅读 · 2019年4月9日
Towards Understanding Regularization in Batch Normalization
Ping Luo,Xinjiang Wang,Wenqi Shao,Zhanglin Peng
4+阅读 · 2018年9月27日
Ting-Ting Liang,Satoshi Tsutsui,Liangcai Gao,Jing-Jing Lu,Mengyan Sun
4+阅读 · 2018年6月1日
Asia J. Biega,Krishna P. Gummadi,Gerhard Weikum
3+阅读 · 2018年5月4日
Brendan Duke,Graham W. Taylor
4+阅读 · 2018年4月6日
Feng Liu,Tao Xiang,Timothy M. Hospedales,Wankou Yang,Changyin Sun
5+阅读 · 2018年3月16日
Caglar Aytekin,Francesco Cricri,Emre Aksu
6+阅读 · 2018年2月8日
Olivier Gouvert,Thomas Oberlin,Cédric Févotte
7+阅读 · 2018年1月5日
Top