学界丨先睹为快：神经网络顶会ICLR 2018论文接受结果速览

大数据文摘作品

专栏作者｜不看镜头的ZARD

今天早晨，ICLR 2018的论文接受结果揭晓，我们就带大家来大致了解一下今年ICLR 2018的论文接受概况。

ICLR全称International Conference of Learning Representation，是由Lecun，Hinton和Bengio三位神经网络的元老联手发起的。近年来随着深度学习在工程实践中的成功，ICLR会议也在短短的几年中发展成为了神经网络的顶会。

论文接受率：

2.3%的口头展示，31.4%的poster接受，9%的workshop，51%拒绝。

ICLR口头展示论文速览：

ICLR口头论文中一大半的论文会成为ICLR Best paper，同时也代表了2018年的研究方向，下面我们就简单的介绍一下今年的oral论文，由于ICLR会议的论文范围较广，方向比较新，我们也不能够做到面面俱到。

Wasserstein Auto-Encoders  （Max Planck Institute）

这篇论文提出了在Variation Auto-Encoder中使用Wasserstein距离进行度量，从而第一次让VAE能够产生跟Generative Adversarial Network比肩的效果。并且WAE在理论上面联系了VAE和GAN。是一篇不可多得理论与实践兼得的好论文。WAE产生的图像如下图：

Spherical CNNs (阿姆斯特丹大学Max Welling组)

卷积神经网络只能够在2D planar图像中使用，但是近年来很多问题如机器人运动，自动驾驶需要对spherical image进行分析。传统的方法是将spherical image投影到2D planar图像，但是这个过程会产生distortion，如下图：

于是作者提出了spherical CNN。Spherical CNN通过傅立叶变换来避免过度的计算。通过傅立叶变换来实现spherical CNN的示意图如下：

相信本篇论文提出的spherical CNN能够在自动驾驶，机器人运动的任务中得到广泛的应用。

Boosting Dilated Convolution with Mixed Tensor Decomposition 

本篇论文通过tensor decomposition的角度来分析神经网络，并且提出了mix tensor decomposition的方法来提高神经网络的表达能力。作者在实践中使用了mix dilation的办法来进行mix tensor decomposition。结构图如下：

两个对偶的网络weight sharing，仅仅通过dilation的变化就可以得到不同的连接，提高神经网络的expressive efficiency。

本篇论文的理论分析详尽，并且论文讲述简单易懂，美中不足的是实验部分太弱，但是也不影响该论文被接受为oral。

Ask the right questions：active question reformulation with reinforcement learning（Google）

这篇论文提出了一个做question answering的新的思路，通过question reformulation将一个问题转换成类似的问题，然后反复的选择最佳问题。Question reformulation和answer selection通过强化学习进行训练。流程图如下：

ICLR趣闻

由于ICLR的审稿意见是公开的，所以我们可以看到作者和审阅者之间的思想碰撞，下面我们就介绍一些有趣的事情。

Mix-up    vs “Data Augmentation by paring samples for images classification”

这两篇论文提出了类似的方法，通过将数据库的图像的线形组合来做Data Augmentation，并且在CIFAR，IMAGENET上面都取得了好的结果，但是Mix-up被接受，paring samples被拒绝。

Matrix capsules with EM routing

这篇论文是神经网络之父的CapsuleNet的后续，也被ICLR接受了，Geoffrey Hinton是该论文的第一作者。

Progressive Growing of GANs 

这篇论文是NVIDIA提出的使用GAN生成high resolution image的论文，由于在论文中违反了double blind原则，在review阶段被拒绝（strong reject），但是由于其amazing的结果，在最后阶段被ICLR接收。

附上大会及相关链接，感兴趣的读者可以自行查看：

ICLR 2018会议链接：

https://openreview.net/group?id=ICLR.cc/2018/Conference

论文链接：

Ask the right question:

https://openreview.net/pdf?id=S1CChZ-CZ

Wasserstein Auto-Encoders:

https://openreview.net/pdf?id=HkL7n1-0b

Spherical CNNs:

https://openreview.net/pdf?id=Hkbd5xZRb

【今日机器学习概念】

Have a Great Definition