IanGoodfellow在推特教你如何更好地阅读GAN论文

作者 | Ian GoodFellow

译者 | 核子可乐

编辑 | Emily

AI 前线导读：面对浩如烟海的 GAN 理论与实证性研究论文，我们该如何阅读并审查 GAN 通用性改进的相关内容？

数个小时之前，GAN 之父 Ian GoodFellow 在推特上连发两串长推文（甚至还解锁了推特主题推文数量限制新成就），进行了一次以“如何更高效地阅读 GAN 论文”为主题的“快速在线教学”。AI 前线将其内容编译如下。

更多干货内容请关注微信公众号“AI 前线”，（ID：ai-front）

时至今日，关于 GAN（生成对抗网络）的理论或实证性研究论文可谓不计其数，作者们踊跃探讨着如何利用 GAN 完成各类新奇有趣的目标（例如进行无监督翻译学习）以及为其制定新的度量标准等等。不过大家别担心，今天的文章与这些完全没有关系。

除此之外，也有不少 GAN 相关论文将视点设置得更为宏观，例如讨论半监督学习 GAN、隐私差异以及数据集增强等等。但这同样不是我们今天的讨论的议题。

言归正传，本文所关心的是如何建立新的方法，从而确保 GAN 能够获得普遍性的训练成效或样本质量提升。

作为第一项建议，我希望各位读者朋友首先参阅《GAN 的创建是否完全对等？》一文，其中解释了为什么这类工作如此困难，又该如何达成目标。

文章链接：

https://arxiv.org/pdf/1711.10337.pdf

另一份关于背景知识的好文章是《关于生成模型的评估》，其中解释了为什么模型在拥有良好的样本时仍可能提供很差的结果——反之亦然，以及其它与生成模型指标相关的问题。

文章链接：

https://arxiv.org/abs/1511.01844

GAN 论文阅读当中的一大难点，在于很难判断其究竟是否新颖。目前论文中充斥着大量针对 GAN 的改进意见，但我们很难全面加以关注并判断某种新方法是否真的具有创新性。就目前来讲，我们只能以四到五种表达方式在谷歌上进行搜索，查看其此前是否曾被提出。

GAN zoo 堪称追踪 GAN 发展动态的最佳资源之一：

直达链接：

https://github.com/hindupuravinash/the-gan-zoo

但即使提出的方法并非真的新颖，某些论文的内容也许仍值得一观。当然，审稿人应确保论文内容正确承认了此前已经存在的研究结论。

在指标方面，Frèchet Inception Distance（简称 FID，亦包括其类内版本）可能是目前评估通用 GAN 效能的最佳指标。对于除 ImageNet 之外的各类数据集，Inception 都能发挥极好的距离定义作用。

也有一部分特定论文可能专注于其它指标（例如 GAN 可配合 Real NVP 生成器以报告实际概率）。但无论如何，除非有明确的理由，否则 FID 通常都会在列。

很多论文会鼓励读者通过查看样本以建立对内容的理解，但我认为这并不值得提倡。

就个人而言，我认为只有在以往技术无法实现的前提下，才有必要生成样本并以此为基础进行理解。

举例来说，使用单一 GAN 生成 ImageNet 样本就非常困难。许多论文在这方面都失败了。然而，SN-GAN 却能够成功立足全部类别生成可识别样本，因此我们可以将其视为一项重要进步。（当然，这样的进步也可能与论文中所提到的方法无关，例如采用了新的规模更大的架构等。）

众多论文都展示了来自 CIFAR-10 或 CelebA 等数据集的样本，并希望借此给读者留下深刻的印象。但我理解不了为什么要这么做——这些任务大多早已得到解决，所以此类论文根本没有意义。

我也不知道将图像与一种微小的缺陷作出对照，从而制作出一幅看似相同、实则不同的图像究竟有何价值。

因此，我只会将 CelebA 以及 CIFAR-10 样本等看作是单纯的完整性检查——没错，这跟突破性方法没有任何关系。

在这里需要提醒大家，你应该对已经确立的基准抱有怀疑态度。实际上，深度学习算法非常玄妙，且极易受到影响甚至是破坏，所以请千万认真检查自己的前提与假设。

一般来讲，某项基准至少要被另一篇论文引用过才算值得信赖。此外，阅读论文时还应检查其它论文是否进行过任务验证，以及由此得出的具体结果。毕竟作为学术研究者，大家肯定已经习惯了在引用之后，实际实验结果远差于最初发表者结果的情况。

而且这一点在 GAN 论文当中体现得尤为明显。

有时候，如果一篇论文研究的属于新任务或者此前研究当中很少涉及的层面，那么作者不妨建立自己的基准。在这种情况下，论文中往往至少应有一半的内容用于证明这一基准的正确性。

解释所有超参数的来源非常重要。由于新方法通常是为了改进诉求而建立，因此作者往往会投入大量时间以非正式方式优化新方法中的超参数。

目前各类论文当中涉及的深度学习算法数量众多——特别是在 GAN 与强化学习领域，但每次运行后得到的结果却差异巨大。论文应当至少提供 3 次运行结果，从而展示相同超参数设置下的结果随机性。

事实上，相当一部分看似能够得到改进性结果的论文，只是挑选出了新方法的好处，且刻意回避旧方法的运行结果。

即使不存在上述问题，很多论文往往也只展示新方法的单一学习曲线，外加一条与该曲线非常相近的基准学习曲线。根据个人经验，同一方法在两次运行之后往往会得到差异巨大的结果。

在解释超参数的具体优化方法时，最重要的是弄清楚其是否曾在多次运行当中被用于优化最高、最低或平均效能。

还有一点非常重要——即使方法本身非常出色，但论文的质量仍有可能相当糟糕。有时候我们会看到某篇论文中使用了一种运行效果良好的新方法，但却缺少充分的科学论断支持。审查人应该尽可能对科学论断加以强调。

如果你身为审查主席，我强烈建议你立足细节进行论文内容匹配度审查。举例来说，如果你所审查的 GAN 论文当中包含编码器，请据此检索 ALI/BiGAN/alpha-GAN/AVB 上的相关作者。

虽然接触过众多 GAN 相关主题，我仍然觉得自己在知识背景方面积累得远远不够。

如果审查的是一份关于模型崩溃的论文，且作者认为模型崩溃意味着模型本身记住了训练示例中的某一子集，请保持怀疑态度。事实上，导致模型崩溃的原因往往远没有这么简单。

举例来说，模型崩溃通常与同数据模式无关的奇怪垃圾点存在密切关联。这些垃圾点往往会在训练过程当中持续存在。

另外，模型崩溃也可能源自非常微妙的重复纹理或图像背景，而人眼并不能敏锐地发现这些重复状况。

这就是本次文章的内容。欢迎大家在评论中分享你在阅读和审查 GAN 论文中的观点与建议。

推文汇总链接：

https://threadreaderapp.com/thread/978342147819683841.html

https://threadreaderapp.com/thread/978339478560415744.html

如果您喜欢我们的内容，记得给我们「留言」和「点赞」，给编辑鼓励一下！