7 Papers | 清华黄民烈、朱小燕等新论文；Quoc Le等提出新型硬注意力图像分类算法

机器之心整理

参与：一鸣

本周有针对文本生成任务 GAN 的神经架构搜索方法，作者包括清华大学黄民烈、朱小燕等，Quoc V. Le 则提出了一种基于硬注意力机制的图像分类方法。 此外还有梯度提升机、强化学习应用等方面的论文综述，以及基于神经架构搜索的图神经网络等。

目录 ：

1. Gradient Boosting Machine: A Survey

2. ARAML: A Stable Adversarial Training Framework for Text Generation

3. Implicit Deep Learning

4. Reinforcement Learning Applications

5. Saccader: Improving Accuracy of Hard Attention Models for Vision

6. GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

7. More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

1. 论文 ： Gradient Boosting Machine: A Survey

• 作者：Zhiyuan He、Danchen Lin、Thomas Lau、Mike Wu

• 论文链接：https://arxiv.org/pdf/1908.06951v1.pdf

摘要 ： 本文是一篇关于梯度提升的综述性论文。 研究者将探讨不同类型的梯度提升算法，并详细说明它们各自的数学框架。 文章由以下几部分组成： 梯度提升简介； 目标函数优化； 损失函数估计； 模型建构； 梯度提升在排名中的应用。

推荐 ： 梯度提升机是神经网络之前使用最为广泛的机器学习工具，著名的 XGboost 便是基于这一算法理论。 本文适合机器学习初学者阅读，用于了解梯度提升机制，以及集成模型等方面的应用。

2. 论文 ： ARAML: A Stable Adversarial Training Framework for Text Generation

• 作者：Pei Ke、Fei Huang、黄民烈、朱小燕

• 论文链接：https://arxiv.org/pdf/1908.07195v1.pdf

摘要 ： 大部分用于文本生成任务的生成对抗网络会遇到强化学习训练算法（如策略梯度）的不稳定性问题，清华大学研究者提出新型框架 ARAML，该框架的判别器将奖励分配给从数据附近平稳分布获得的样本，而不是从生成器的分布中获得的样本； 生成器使用最大似然估计进行优化，而该估计由判别器的奖励来增强，而不是策略梯度。 实验证明，ARAML 模型性能优于当前最优的文本生成 GAN，训练过程比后者更加稳定。

ARAML 模型概览。训练样本来自基于真实数据的平稳分布 P_s，生成器在判别器奖励增强的样本上训练。判别器的训练目标是判断真实数据和生成数据。

推荐 ： 本文作者包括清华大学黄民烈、朱小燕教授等人。 不仅在文本生成上使用了 GAN，还采用了神经架构搜索构建架构，以及强化学习训练方法，最终实现了文本生成任务的 SOTA。 论文已被 EMNLP 2019 接收。

3. 论文 ： Implicit Deep Learning

• 作者：Laurent El Ghaoui、Fangda Gu、Bertrand Travacca、Armin Askari

• 论文链接：https://arxiv.org/pdf/1908.06315.pdf

摘要： 在本文中，研究者定义了一类新的隐性深度学习预测规则，它们实现了前馈神经网络递归规则的泛化。 这些模型基于一种定点方程（包含单个隐含特征向量）的解决方案。 新的框架极大地简化了深度学习的符号并在新型架构和算法、鲁棒性分析和设计、可解释性、稀疏性以及网络架构优化等诸多方面提供了新的可能性。

推荐 ： 论文作者来自加州大学伯克利分校。 模型压缩是机器学习的新研究方向，本文从数学角度提出了一种新的压缩方法，一定程度上解决了深度学习存在的诸多问题。

4. 论文 ： Reinforcement Learning Applications

• 作者：Yuxi Li

• 论文链接：https://arxiv.org/pdf/1908.06973v1.pdf

摘要 ： 本文是一篇关于强化学习应用的综述性论文。 文章开头简要介绍了强化学习的成功案例、基础知识、具体案例、存在的问题、ICML 2019 关于现实生活中强化学习的专题研讨会、使用方法、研究资料和前景展望。 之后讨论了强化学习应用的选择问题，包括推荐系统、计算机系统、能源、金融、医疗健康、机器人和交通等。

强化学习应用一览。

推荐 ： 强化学习尽管听起来高大上，但是很多读者并不知道怎样应用这一模型。 本文综述性地介绍了强化学习在各类场景中的应用形式，并介绍了模型选择方面的一些经验和技巧。

5. 论文： Saccader: Improving Accuracy of Hard Attention Models for Vision

• 作者：Gamaleldin F. Elsayed、Simon Kornblith、Quoc V. Le

• 论文链接：https://arxiv.org/pdf/1908.07644.pdf

摘要 ： 在本文中，研究者提出了一种新颖的硬注意力（hard attention）模型，称之为 Saccader，并提供了该模型的自监督预训练过程（过程中不会遇到优化问题）。 通过预训练和策略梯度优化，Saccader 模型估计了不同图像块与下游任务的相关性，并借助于一种新的单元格来选择不同时间进行分类的图像块。 本文提出的方法不仅在 ImageNet 数据集上实现了高准确率，而且提供了更多可解释的预测。

图像上代表注意力的框图示。

推荐 ： 注意力机制被认为可以一定程度上解释深度学习模型，在图像分类任务上，利用注意力机制便可以知道哪些部分导致了最终的模型结果。 本文作者为 Quoc V. Le 等。

6. 论文 ： GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

• 作者：Yang Gao、 Hong Yang、 Peng Zhang、 Chuan Zhou、Yue Hu

• 论文链接：https://arxiv.org/pdf/1904.09981v2.pdf

摘要 ： 图网络在分析非欧几里得几何数据，如社交网络和生物数据上非常受欢迎。 但是，设计图神经网络需要大量的人工工作和领域知识。 本文提出了一种图神经网络架构搜索方法（GraphNAS），基于强化学习可以自动搜索出最优的图神经网络架构。 具体来说，GraphNAS 首先使用循环神经网络生成变量长度的串，用于描述图神经网络的架构，然后使用强化学习的方式训练循环神经网络，用于最大化生成架构在验证集数据上的期望精确率。 在节点分类实验上的结果说明，GraphNAS 相比 Cora、Citeseer 和 Pubmed 等架构实现了更稳定、更好的性能表现。 GraphNAS 设计的图神经网络架构相比人类设计的架构在测试集精确率上也更高。

GraphNAS 的架构示意图。

推荐 ： 这篇来自中科院、悉尼大学和蚂蚁金服的论文介绍了一种新颖的图网络神经架构搜索机制。 神经架构搜索和图网络的深度结合，为读者带来了最新的图网络研究。

7. 论文 ： More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

• 作者：Yunguan Fu、Maria R. Robu、Bongjin Koo、Crispin Schneider、Stijn van Laarhoven、Danail Stoyanov、Brian Davidson、Matthew J. Clarkson、Yipeng Hu

• 论文链接：https://arxiv.org/pdf/1908.08035

摘要 ： 提升半监督图像分割任务性能的选项是： 加入更多的无标注数据、标注更多图像或者将两个方法结合。 论文在内窥镜肾脏图像检测应用任务中，研究了在使用平均教师学习这种半监督图像分割算法情况下，改变带标注和无标注数据量对模型性能表现的影响。 有趣的是，这种对比显示，半监督学习采用的训练策略也会影响结果。 研究人员之后对比了不同的带标注和无标注数据比例下模型的表现，并探讨了怎样权衡标注更多数据还是增加更多无标签图像这两个策略，使得模型可以在医疗诊断任务中得到应用。

推荐 ： 本文较为全面的探讨了标注数据占比在半监督图像分割任务上的表现，给想要在临床图像诊断上应用机器学习的读者有关模型选择、训练策略和数据集标注等方面以相关参考。