【学界】效果惊人：上古卷轴III等经典游戏也能使用超分辨率GAN重制了

2019 年 1 月 11 日 GAN生成式对抗网络

来源：机器之心

很多游戏曾经承载着一代人的记忆，CS、魔兽争霸、红警更是经典中的经典。但是随着计算资源的大幅度提升和「显卡杀手」的不断涌现，很多时候我们会感觉这些游戏的画面非常粗糙，甚至适配到宽屏都需要特定的修改。很多游戏自身也会一直迭代新版本，然而也很难取代第一次玩游戏的感动。尽管目前有一些高清重制版，但需要很多成本和时间，因此技术宅们想到了深度学习，想到了图像超分辨率。

图像超分辨率是指从观测到的低分辨率图像重建出相应的高分辨率图像，这种重建不仅指令图像变得清晰锐利，同时还表示模型需要利用图像的高级语义信息重建出丢失的信息。因此这实际上是一个比较困难的任务，不过目前基于卷积神经网络或生成对抗网络的方法还是有比较好的效果。

最近有研究者使用超分辨率技术「高清化」曾经的经典游戏，他们从去年 12 月开始陆续推出几款「高清重制版」游戏，包括《重返德军总部》、《毁灭战士》和《上古卷轴 III：晨风》，而这几天更是放出《马克思·佩恩》的高清版。这些高清化的游戏都可以直接下载：

重返德军总部：http://www.mediafire.com/file/1o5k4ktrkk4cv54/pak1.pk3/file
毁灭战士：https://www.doomworld.com/forum/topic/99021-v-0-95-doom-neural-upscale-2x/
上古卷轴 III：晨风：https://www.nexusmods.com/morrowind/mods/46221?tab=files
马克思·佩恩：https://www.moddb.com/games/max-payne/addons/max-payne-remastered

下面的视频展示了《重返德军总部》的超分辨率效果，游戏看上去精细了很多：

此外值得注意的是，重制版游戏的纹理都是采用 ESRGAN 构建的，因此重制的纹理保留了原始纹理的美感。这对很多玩家而言是非常有意义的事，因为老游戏的纹理不需要替换，它们的艺术风格同样不会改变。这也就避免了玩人工重制版游戏像玩新游戏那样的尴尬。

马克思·佩恩原版游戏截图与使用 ESRGAN 超分辨率重制游戏的截图。

这个项目采用的超分辨率技术是 2018 年提出的 ESRGAN，即增强型超分辨率生成对抗网络，这种技术会将真实的细节添加到低分辨率的图像中，因此产生更精细的画面。通过欺骗判别器，相比传统的超分辨率技术，它能生成更大保真度、更真实的图像。此外 ESRGAN 还开源了论文代码，说不定这些游戏就是使用这个项目做的呢。

ESRGAN 实现地址：https://github.com/xinntao/ESRGAN

ESRGAN 的核心思想同样非常直观，即我们希望生成器能生成高分辨率图像以欺骗判别器。其中生成器会将低分辨率图像作为输入，并采用如下的神经网络将低分辨率图像扩张成高分辨率图像。如果判别器不能识别生成高分辨率图像和已有高分辨图像之间的差别，那就表示超分辨率模型的效果非常好，我们就能愉快地重制经典游戏了。

如上所示，ESRGAN 采用 SRResNet 作为生成器的基本架构，其中大多数计算都发生在低分辨率的输入图像 LR 上，它因为尺寸较小而能节省很多计算力。此外相比于原版的 SRResNet，ESRGAN 修正了主要的残差模块，因此更适合生成对抗网络。在完成橙色部分的主要运算后，生成器能提取低分辨率图像的高级语义信息，借助这些信息并完成上采样后，模型最终能生成高清大图。

前面所示生成器的计算主要发生在橙色的残差模块，ESRGAN 发现批量归一化（BN）在训练集和测试集有显著差异的情况下会降低模型准确率，且在 GAN 框架下不是那么重要，因此他们删除了 BN 模块。ESRGAN 中的另一个改进是将残差模块替换为残差+密集连接模块，这两个改进都展示在下图。

ESRGAN 尽可能地提升生成器的表达能力，不过判别器只需要常见的二分类模型就行了，它需要判断图像到底是标注的高清图还是生成的高清图。当然，GAN 本身还有很多改进以匹配超分辨率任务，包括采用 Relativistic 判别器和 Perceptual 损失函数等，感兴趣的读者可查阅以下原论文。

论文：ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks

论文地址：https://arxiv.org/abs/1809.00219

摘要：超分辨率生成对抗网络（SRGAN）是一项开创性的工作，能够在从单张低分辨率图像重建出高分辨率图像（single image super-resolution，SISR）过程中生成逼真的纹理。然而，预测细节通常伴随着令人不快的伪影。为了进一步提高视觉质量，我们彻底研究了 SRGAN 的三个关键组成部分：网络架构、对抗性损失和感知损失，并对每个组件进行了改进，得到了增强型 SRGAN（ESRGAN）。特别是，我们在没有批归一化的情况下引入 Residual-in-Residual Dense Block（RRDB）作为基本网络构建单元。此外，我们借用 relativistic GAN 的思想来让判别器预测相对真实性而不是绝对值。最后，我们通过使用激活前的特征来改善感知损失，这可以为亮度一致性和纹理恢复提供更强的监督。得益于这些改进，本研究提出的 ESRGAN 实现了始终如一的更好的视觉质量，具有比 SRGAN 更逼真和自然的纹理，并在 PIRM2018-SR 挑战赛中获得第一名。