华为青年研究员获NeurIPS最佳论文奖：4856篇投稿，仅有21%录取率

2018 年 12 月 4 日 AI100

图片来源于Facebook

译者| 琥珀

出品| AI科技大本营

尽管经历了审稿信息泄露、大会名称更换、 200 多位黑人论文作者拒签的种种风波，但依然抵挡不住今年 NIPS 大会 8400 名技术人的踊跃前来。

本周（12 月 3 日-12 月 8 日），神经信息处理系统大会（NeurIPS 2018）在加拿大蒙特利尔会展中心举办。作为年度最大的机器学习盛会之一，NIPS 最早成立于 1986 年，并于今年改名为 NeurlPS。截止目前，该会议已成功举办 32 届，并成为在数据科学家、研究人员和学者等人工智能社区中备受瞩目的年度聚会。

据了解，

NeurIPS 2018 共收到 4856 篇投稿，创历史最高记录，最终录取了 1011 篇论文，论文录取率为 21%。其中 Spotlight 论文 168 篇，Poster 论文 812 篇，Oral 论文 30 篇。
接受的论文主题中排名第一的是算法，其他依次为：深度学习、应用、强化学习与规划、概率方法、理论、优化方法、神经网络与认知科学、数据及其他。
此次投稿的论文中，有 69% 的论文作者表示公布代码，实际上只有 44% 的提供了代码或数据。
此次参会注册人数超过 9000 人。从现场活动值得关注的是，女性在机器学习领域的从业者开始逐渐增多。
今年共计有 7 场主题演讲、9 场 Tutorial Session和 41 场 Workshop，本次会议主题演讲范围覆盖算法、机器学习、强化学习、神经网络等。同样可以看到，这些主题也是目前学术界热衷的研究方向。

当然，最值得一提的是，在大会首日的开幕式环节，4 篇最佳论文奖、1 篇时间检验奖等诸多奖项悉数揭晓。

除了Google AI、微软研究院、多伦多大学向量研究所、INRIA 等我们所熟知的研究机构或院校外，来自华为诺亚方舟实验室（法国）成员 Kevin Scaman 也榜上有名。根据领英上公布的简历，Kevin 于今年 1 月加入华为，此前工作于微软研究院。如果年龄没估计错的话，他今年应该还不过 30 岁，可谓靠才华吃饭的一枚“小鲜肉”。

回归此次大会主题，4 篇最佳论文分别是：

Neural Ordinary Differential Equations
Optimal Algorithms for Non-Smooth Distributed Optimization in Networks
Non-delusional Q-learning and value iteration
Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

▌Neural Ordinary Differential Equations

神经常微分方程

作者：Ricky T. Q. Chen, Yulia Rubanova, Jesse Bettencourt, David Duvenaud（四人均来自多伦多大学向量研究所）

值得一提的是，Ricky T. Q. Chen 中文名为陈天琪，恰与 XGBoost 开发者华盛顿大学计算机系博士生陈天奇的英文名重名。

摘要：我们引入了一种新的深度神经网络模型家族。我们并没有规定一个离散的隐藏层序列，而是使用神经网络将隐藏状态的导数参数化。然后使用黑箱微分方程求解器计算网络的输出。这些连续深度模型的内存成本是恒定的，并根据输入调整评估策略和显示地用数值精度换取运算速度。我们构造了连续归一化流，一个可以使用最大似然度的方式训练的生成模型，无需对数据维度进行分割或排序。对于训练，我们展示了如何通过任何 ODE 求解器进行可扩展的反向传播，无需访问其内部操作。这使得可以在较大规模内实现端到端的 ODE 训练。

论文地址：https://arxiv.org/pdf/1806.07366.pdf

▌Nearly tight sample complexity bounds for learning mixtures of Gaussians via sample compression schemes

利用样本压缩方案学习高斯混合的近似紧样本复杂界限

作者：Hassan Ashtiani，Shai Ben-David，Nicholas Harvey，Christopher Liaw，Abbas Mehrabian，Yaniv Plan（来自加拿大麦克马斯特大学、滑铁卢大学、不列颠哥伦比亚大学、麦吉尔大学等）

摘要：我们证明了样本对于学些中的 K高斯混合模型是充分且必要的，直至整体偏差距离误差ε。这改善了该问题已知的上限和下限。对于轴对准高斯混合，我们证明了匹配一个已知的下限是足够的。上限是基于样本压缩概念的分布式学习新技术。任何一类允许这种样本压缩概念的方案也可以通过很少的样本来学习。我们的核心结果是证明了高斯混合类具有有效的样本压缩。

论文地址：

https://papers.nips.cc/paper/7601-nearly-tight-sample-complexity-bounds-for-learning-mixtures-of-gaussians-via-sample-compression-schemes.pdf

▌Optimal Algorithms for Non-Smooth Distributed Optimization in Networks

网络中非光滑分布优化的优化算法

作者：Kevin Scaman, Francis Bach, Sébastien Bubeck, Yin Tat Lee, Laurent Massoulié （来自华为诺亚方舟实验室、INRIA、微软研究院、华盛顿大学等）

摘要：在这项研究中，我们利用计算单元网络的非光滑凸函数的分布式优化。我们两个正则性假设下研究这个问题：（1）全局目标函数的Lipschitz连续性，(2)局部单个函数的Lipschitz连续性。在局部正则性假设下，我们提出第一个最优一阶分散算法——多步原对偶算法(MSPD)，并给出了相应的最优收敛速度。这个结果的显著影响是，对于非光滑函数，当误差的主要项在 O(1/t) 中时，通信网络的结构仅影响 O(1/t) 中的二阶项，其中 t 是时间。也就是说，即使在非强凸目标函数的情况下，由于通信资源的限制而导致的误差也会减小。在全局正则性假设下，我们提出了一种基于目标函数局部平滑的分布式随机平滑（DRS）算法，并证明了 DRS 在最优收敛率的 d1/4 乘因子内，其中 d 为底层维数。

论文地址：

https://arxiv.org/pdf/1806.00291.pdf

▌Non-delusional Q-learning and value-iteration

非妄想 Q学习和价值迭代

作者：Tyler Lu，Dale Schuurmans，Craig Boutilier（均来自 Google AI）

摘要：在 Q学习（ Q-learning）和其他形式的动态规划中，我们用函数逼近法确定了误差的根本来源。当近似结构限制了可表达的贪婪策略的类别时，就会产生偏差。由于标准 Q-updates 对可表达的策略类做出了全局不协调的动作选择，因此可能导致不一致甚至冲突的 Q 值估计，从而导致病态行为，例如高估/低估、不稳定甚至分歧。为了解决这个问题，我们引入了策略一致性概念，并定义了一个本地备份流程，通过使用信息集来确保全局一致性。我们证明了使用这种备份的基于模型和无模型的算法可消除妄想（delusional）偏差，从而产生第一种已知算法，可在一般条件下实现最优结果。这些算法只需要多项式的一些信息集（来自潜在指数的支持）。我们建议尝试使用其他启发式方法如 Value-iteration 和 Q 学习减少妄想偏差。