智源论坛（第5期）活动报名 | 机器学习系列报告会（7月4日、10日）

2019 年 7 月 3 日 PaperWeekly

针对当前以深度学习、强化学习等为代表的人工智能算法存在的三个问题：可解释性缺失、大数据依赖、模型场景化，北京智源人工智能研究院“机器学习”重大研究方向聚焦“4U”（Understandable, Usable, Universal, Ubiquitous）展开以下四个方向的前沿人工智能算法研究：

研究深度学习、强化学习的泛化理论，模型设计理论，贝叶斯深度学习模型，提升用户对AI的理解和降低AI的黑盒效应；
研究小样本学习理论与算法，减少用户标注大数据的痛苦；
研究深度学习模型结构自学习、自适应的理论与算法，降低用户使用AI的门槛；
基于以上三点研究，探索AI在尚未探索/极具挑战性领域的应用，如多边交易市场、群体智能、分子生物学等。

7月4日和10日，每天上午9:30~11:30，四位智源学者候选人将分享他们在这一领域的探索。

活动日程

地点：海淀区中关村南大街1-1号，中关村信息谷4层报告厅

7月4日	主题	报告人	简介
09:30 ～ 09:35	开场致辞
09:35 ～ 10:25	Some Recent Advances in Machine Learning Theory	王立威	北京大学信息学院智能科学系教授
10:25 ～ 11:05	云、端、芯上的视觉计算	孙剑	北京旷视科技首席科学家
11:05 ～ 11:35	听众互动
7月10日	主题	报告人	简介
09:30 ～ 09:35	开场致辞
09:35 ～ 10:25	小样本学习	张长水	清华大学自动化系教授
10:25 ～ 11:05	强化学习在双边交易市场领域的应用	叶杰平	滴滴出行副总裁、人工智能实验室负责人、首席科学家
11:05 ～ 11:35	听众互动

议题及报告人简介

报告题目：Some Recent Advances in Machine Learning Theory

报告摘要：I will talk about our recent results in learning theory and its implication in algorithm and architecture design.

The first part is about training deep neural networks. Traditional wisdom says that training deep nets is a highly nonconvex optimization problem. However, empirically one can often find global minima simply using gradient descent. We show that if the deep net is sufficiently wide, then starting from a random initialization, gradient descent provably finds global optima with a linear convergence rate. Based on this theory, we develop a second-order optimization algorithm called Gram-Gauss-Newton (GGN) to train deep nets. We show that GGN enjoys quadratic convergence rate for sufficiently wide neural networks, while the per-iteration computational overhead is small compared to SGD. We also demonstrate empirically that GGN converges faster than SGD for regression problems using deep nets.

The second part is about design an improved architecture for Transformer. We first point out that the standard architecture of Transformer can been seen as a numerical solver of an ODE: the convection-diffusion equation for a multi-particle dynamic system. However, the numerical solver corresponding to the standard Transformer is suboptimal. A much better solver is the Strang splitting scheme. We design a new Transformer architecture inspired by the Strang splitting. Experimental results demonstrate significant improvement.

The third part is about learning adversarially robust deep neural networks. We develop theories and algorithms that leverage unlabeled data to train robust deep nets. We first prove that the robust error can be decomposed as the sum of standard error and a consistency error, and the latter does not involve any label. Therefore using unlabeled can reduce the risk.

王立威：北京大学信息学院智能科学系教授、副系主任，国家自然科学基金优秀青年基金获得者，“教育部新世纪优秀人才支持计划”获得者。长期从事机器学习领域相关研究，目前主要致力于围绕机器学习核心科学问题“泛化理论、表示理论和优化方法”深入开展工作，为解释深度学习算法、boosting算法、主动学习、隐私保护学习等机器学习算法的泛化性能做出重要贡献，取得较为丰富的成果。自2002年以来，在TPAMI、CVPR、ICML等国际顶级期刊和和会议上发表论文70余篇，并参与编写《机器学习及其应用》2009版“关于Boosting算法的Margin解释”及2015版“差分隐私保护的机器学习”相关章节。曾获得第11届Meeting on Image Recognition and Understanding会议最佳论文奖，2010年获得《Pattern Recognition Letters》期刊最高引用论文奖（2005-2010），2010年入选IEEE Intelligent Systems的“人工智能10大新星”（AI’s 10 to Watch）。

报告题目：云、端、芯上的视觉计算

报告摘要：越来越大和越来越深的神经网络不断降低着识别错误率，甚至在不少语音和图像识别任务上超过了人类。但是这些深度网络也对计算提出了新的要求和挑战：在很多视觉应用场景中，我们需要在不同的计算平台上最大化推理算法的性能。在这个报告，我将介绍一系列我们的近期分别针对云、移动端、芯片的深度神经网络设计工作，包括ResNet，ShuffleNet，DorefaNet等，以获得最佳的识别精度。同时也会介绍一些旷视科技在云、端、芯等应用场景的人工智能实践。

孙剑：北京旷视科技有限公司首席科学家，兼任西安交通大学人工智能学院院长。在计算机视觉、深度学习、计算机图形学三个方向都做出了突出的贡献。发表科学论文100余篇，在2009和2016年两次获得了计算机视觉年会CVPR的最佳论文奖，谷歌学术引用总数超过73,081次，H-index 指数78，高引论文（引用超1000次）12篇。2015年的代表工作“深度残差网络ResNets”，已成为计算机视觉和深度学习的最主流方法之一。该成果获得了2016年CVPR最佳论文奖，谷歌学术引用19,612次，是近五年在深度学习和计算机视觉领域被引用数最高的论文之一，并已被广泛应用于工业界。

报告题目：小样本学习

报告摘要：在机器学习中，为了得到好的学习效果，通常需要大量监督样本，但是标注大量样本费时费力。在本报告中，介绍在解决这个问题中的一些机器学习方法，以及当前研究中存在的问题。

张长水：清华大学自动化系教授。专业方向包括机器学习、人工智能、模式识别、计算机视觉等。张长水博士在TPAMI、TKDE、JMLR等重要期刊发表论文100多篇，在ICML、NIPS、CVPR、IJCAI等重要会议发表论文50多篇，Google Scholar总引用14000余次。2018年张长水博士因对“信号处理中的半监督学习”方面的贡献当选国际电气与电子工程师协会会士（IEEE Fellow）。目前在TPAMI等期刊担任编委（Associate Editor）。

报告题目：强化学习在双边交易市场领域的应用

报告摘要：强化学习近年来由于在棋类和电子游戏等领域取得了重大突破而引起关注。双边交易市场包含一系列复杂的决策问题，成为强化学习领域近期的一个研究热点。我们从出行场景入手，介绍强化学习在提升出行体验和效率方面的应用。并讨论强化学习在出行领域应用中存在的机遇和挑战，及今后发展趋势。

叶杰平：滴滴出行副总裁、人工智能实验室负责人、首席科学家，美国密西根大学计算医学与生物信息学系、电气工程与计算机科学系副教授，先后在美国亚利桑那州立大学、密西根大学工作近15年时间。担任包括IEEE TPAMI，DMKD，IEEE TKDE，以及NIPS，ICML，KDD，IJCAI，AAAI等多个国际顶级期刊编委及国际顶级会议程序委员会主席和领域主席。自2001年以来一直在机器学习、数据挖掘和大数据分析领域不断深钻和耕耘，尤其在大规模稀疏模型学习中处于国际领先地位，是机器学习领域的国际领军人物。在国际顶级期刊和会议发表了高质量论文240余篇（截至2019年4月，Google Scholar引用次数超过16,400次，H-index 67）。曾获得KDD和ICML最佳论文奖，以及2010年获得美国国家自然科学基金会生涯奖（NSF CAREER Award）。2017年获得中国计算机学会“CCF科学技术奖科技进步卓越奖”，并被美国福布斯评为“推动中国人工智能变革的20人”。

温馨提示