在《绝地求生》中玩《堡垒之夜》! 深度学习帮你转换画风

【导读】网游《绝地求生》前段时间大火,朋友圈,群聊常被“吃鸡”的消息刷屏。而另一个“大逃杀”游戏《堡垒之夜》也十分火爆,甚至玩法十分新颖,推出了”建造系统“,允许玩家像瞄准和射击一样轻松容易地放置墙壁、地板、天花板和斜坡。只要玩家用他们的镐头砸碎足够多的树木、砖块和金属,他们就可以架设复杂的摩天大楼或者能边移动边制作掩体墙壁。 但相比之下,《绝地求生》的画风更为真实,而《堡垒之夜》偏漫画风。如何迅速适应《堡垒之夜》?CycleGAN帮你完成画风转换。


作者:Chintan Trivedi 

编译: 专知

整理:Yingying, Jiahui



神经网络尝试在《绝地求生》的视觉风格中重现《堡垒之夜》。


如果你是一名游戏爱好者,你一定听说过现在疯狂流行的两个“大逃杀”游戏,《堡垒之夜》(Fortnite)和《绝地求生》(PUBG,吃鸡)。 他们很相似,游戏开局时,有100个玩家被放逐到小岛上,收集武器和装备,互相攻击,直到剩下一个幸存者,大吉大利,晚上吃鸡! 《堡垒之夜》的玩法更加有意思,游戏机制更加简单,小学生都能很快上手,还能像“我的世界(MineCraft)”一样建造元素,游戏画风偏向美漫风,而《绝地求生》的视觉效果更加逼真。因此,我们能否可以为游戏提供图形模块,以便自由地切换喜欢的视觉效果? 怎样在《绝地求生》的视觉效果中展现《堡垒之夜》的帧?深度学习解决了这个问题! CycleGANs恰好擅长图像风格转换。 在本文中,我将介绍CycleGAN的工作方式,然后训练他们将《堡垒之夜》的视觉风格转换为《绝地求生》。


Fortnite(左)拥有卡通画面和PUBG(右)以及更逼真的视觉效果。


什么是CycleGAN?




CycleGAN是用于跨域图像风格转移的一种生成对抗网络。 可以训练他们将一个域的图像(如《堡垒之夜》)转换为另一个域(如《绝地求生》)。该任务是无监督的,即不需要成对的监督数据集。


网络能够理解原始域图像中的对象,并应用必要的转换来匹配目标域图像中同一对象的外观,在原始论文中,作者举的例子是野马匹转化为斑马,将苹果变成橘子,将照片转换成名家画风的绘画等。


CycleGAN如何工作?




让我们用《堡垒之夜》和《绝地求生》的画风转换来了解CycleGAN的工作原理。 用这两款游戏的截图,可以训练两个GAN,分别学习《堡垒之夜》和《绝地求生》的画风。 这两个网络以循环方式同时训练,来学习形成相同对象之间的关系,从而进行适当的视觉转换。 下图显示了这两个网络的循环设置的一般架构。

我们从《堡垒之夜》的原始图像开始训练过程。 我们将训练两个深层网络,一个生成器和一个判别器。 判别器F将区分《堡垒之夜》的真实和虚假图像。 生成器将来自《堡垒之夜》的图片生成《绝地求生》的图片。


为了确保这种转变是有意义的,我们对原始图片进行重构。 我们同时训练另一组生成器/判别器,它可以从假域重建原始域中的图像。 我们强调这种重构必须与原始图像相似,这就产生了循环损失误差,而训练目标是尽可能减少重建误差。 这与自动编码器类似,不同之处在于我们不在中间步骤的潜在空间中寻找编码,而是在目标域中寻找整个图像。

这里使用的生成器网络(F2P)由三个主要卷积块组成。第一个在较低维的潜在空间中找到《堡垒之夜》屏幕截图的编码。此编码转换为表示同一个潜在空间中的《绝地求生》的编码。然后解码器从转换后的编码中构建输出图像,给我们看起来像《绝地求生》的《堡垒之夜》图像。


结果




经过12小时训练后,CycleGAN生成的图像看起来非常棒。该网络能够成功地将天空的颜色,树木和草地从《堡垒之夜》转换为《绝地求生》。 《堡垒之夜》的过度饱和的颜色被转换成《绝地求生》的更逼真的颜色。

 

原文链接:

https://towardsdatascience.com/turning-fortnite-into-pubg-with-deep-learning-cyclegan-2f9d339dcdb0

-END-

专 · 知


人工智能领域26个主题知识资料全集获取加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~

关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员