让画面更逼真!这个强化超分辨率GAN让老游戏迎来第二春 | 代码+论文+游戏MOD

2019 年 1 月 13 日 量子位
乾明 发自 凹非寺
量子位 出品 | 公众号 QbitAI

能推动AI落地的,不只有利益,也有兴趣和情怀。

近期就有一群资深游戏玩家,用增强型超分辨率生成对抗网络(ESRGAN)做出了经典游戏的高清化MOD。

效果很感人。就像给近视患者戴上了眼镜一样,整个世界都清晰起来了:

原来一团模糊,现在各种纹理、细节清晰可见。

目前,《重返德军总部》、《毁灭战士》、《上古卷轴III:晨风》和《马克思·佩恩》等游戏已经有了相应的Texture Pack可供下载。(传送门在文末)

要知道,随着显卡越来越厉害,计算能力越强大,很多经典的游戏虽然玩法很经典,但在当前的硬件配置下,但粗糙的画面让人越来越难以接受。

不少游戏公司都有了“高清重制”这些游戏的想法。费时费力不说,重置版的游戏,也很少能够保留原来的游戏风格与感觉。

ESRGAN给人的,就是原汁原味的体验。

在《上古卷轴III:晨风》资源包的下方,一位资深的游戏玩家评论称,这不是一个技术噱头,而是一个相当好的“高清重制”,为游戏画面的原始纹理增加细节,还保留了其美学风格。这就是我记忆中《晨风》的样子,细节和我原来想象中的一样的。

有人发出感叹称,这个AI简直是“天赐之物”!更是有不少人用“Fu*k”来表达自己的心情。

当然,少不了有人有一些大胆的想法,那些放在硬盘里“落灰”的老游戏,能够迎来第二春了。

这个应用场景同样也引起了AI圈大佬的注意。GAN之父Ian Goodfellow在Twitter上转发了相关的信息,引发了不少的关注。

但AI圈和游戏圈的讨论画风,略显不同。

有人说,从这个效果你就能够看出,为什么英伟达和好莱坞看到GAN和NN会如此兴奋了!

也有人脑洞大开:是不是可以用相同的方法,把1080P升级到4K?

当然,有想法是好事儿。但ESRGAN到底是什么?

ESRGAN是什么?

ESRGAN,是增强型的超分辨率生成对抗网络。想要弄清楚它,还需要从超分辨率生成对抗网络(SRGAN)说起。

一般情况下,想要把游戏画面变得高清化,需要对图像的超分辨率重建。

传统的超分辨率重建方法,是用较小的倍数将图像放大。但问题是,放大到4倍以上时,图像就会出现过度平滑的现象,就变得不那么真实了。

针对这个问题,Twitter的研究团队提出了超分辨率生成对抗网络SRGAN。

他们的思路是,借助GAN的网络架构来生成图像中的细节,生成器(generator)生成一张超分辨图像,来骗过判别器( discriminator )。

在GAN基础上,他们还设计了感知损失(perceptual loss)函数和对抗损失(adversarial loss)函数来提升输出图像的真实感。

论文链接:
https://arxiv.org/abs/1609.04802

比起传统的方法,SRGAN在效果上有了很大的提升,但这条路并无止境。

然后,ESRGAN诞生了。

与SRGAN相比,ESRGAN在不少方面有了增强。

在模型架构上的,基本和SRGAN差不多,区别在于针对基本块(BasicBlock)的替换。

在ESRGAN中,提出了新的RRDB残差密集块(RRDB),然后将残差密集块中的残差作为基本的网络构建单元,而不是进行批量预处理(归一化),从而有助于训练更深更复杂的网络结构。

除了改进生成器,他们还对SRGAN的判别器做了一些改进。基于相对GAN的想法,让判别器判断的相对真实性而不是绝对真实度。

SRGAN的判别器,仅仅针对输入图x判断真实且自然的概率,而相对判别器尝试去预测真实图像xr相对于生成结果(假的)xf更加真实地概率。

此外,ESRGAN也提出了一种更加高效的感知损失函数,而使生成的图像有更加清晰的边缘。

对比的效果是这样的:

ESRGAN的论文,被ECCV 2018收录,赢得了PIRM2018-SR挑战赛的第一名。

作者来自商汤-香港中文大学实验室等机构。第一作者为Xintao Wang,2016年本科毕业于浙江大学。

目前是香港中文大学多媒体实验室的3年级博士生,师从汤晓鸥和Chen Change Loy。

最后要说的是,ESRGAN已经开源了,也有人给出了如何在Windows上运行ESRGAN的指南。

如果你也有大胆的想法,请收好下面的传送门~

传送门

ESRGAN论文

https://arxiv.org/abs/1809.00219

ESRGAN代码

https://github.com/xinntao/ESRGAN

如何在Windows上运行ESRGAN

https://kingdomakrillic.tumblr.com/post/178254875891/i-figured-out-how-to-get-esrgan-and-sftgan

游戏模组下载

重返德军总部:
https://www.dsogaming.com/news/return-to-castle-wolfenstein-gets-hd-textures-using-esrgan-available-for-download/

毁灭战士:
https://www.dsogaming.com/news/this-hd-texture-pack-for-doom-upscales-the-textures-via-ai-neural-networks-and-looks-incredible/

上古卷轴III:晨风:
https://www.dsogaming.com/news/morrowind-enhanced-textures-is-a-must-have-mod-that-upscales-texture-by-4x-with-esrgan-technique/

马克思·佩恩:
https://www.moddb.com/games/max-payne/addons/max-payne-remastered

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !




登录查看更多
7

相关内容

【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
241+阅读 · 2020年5月18日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
26+阅读 · 2020年4月6日
【经典书】Python计算机视觉编程,中文版,363页pdf
专知会员服务
136+阅读 · 2020年2月16日
2019必读的十大深度强化学习论文
专知会员服务
57+阅读 · 2020年1月16日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
31+阅读 · 2020年1月10日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
195+阅读 · 2019年9月30日
学习一个宫崎骏画风的图像风格转换GAN
AI科技评论
18+阅读 · 2020年3月13日
还在脑补画面?这款GAN能把故事画出来
机器之心
5+阅读 · 2019年7月6日
低清视频也能快速转高清:超分辨率算法TecoGAN
机器之心
13+阅读 · 2019年4月16日
拆台BigGan:“失败”图像生成集锦
论智
5+阅读 · 2018年11月19日
GAN做图像翻译的一点总结
PaperWeekly
4+阅读 · 2017年12月26日
【原理】十个生成模型(GANs)的最佳案例和原理 | 代码+论文
GAN生成式对抗网络
8+阅读 · 2017年8月14日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
相关资讯
学习一个宫崎骏画风的图像风格转换GAN
AI科技评论
18+阅读 · 2020年3月13日
还在脑补画面?这款GAN能把故事画出来
机器之心
5+阅读 · 2019年7月6日
低清视频也能快速转高清:超分辨率算法TecoGAN
机器之心
13+阅读 · 2019年4月16日
拆台BigGan:“失败”图像生成集锦
论智
5+阅读 · 2018年11月19日
GAN做图像翻译的一点总结
PaperWeekly
4+阅读 · 2017年12月26日
【原理】十个生成模型(GANs)的最佳案例和原理 | 代码+论文
GAN生成式对抗网络
8+阅读 · 2017年8月14日
Top
微信扫码咨询专知VIP会员