视频直接变漫画!GAN又有了新玩法 | Demo+代码+论文

2018 年 12 月 30 日 量子位
乾明 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

GAN,又有了新“玩法”。

最近,一个能够将视频直接转化成漫画的工具,引发了很大关注。

它的效果是这样的:

Twitter上不少学者去围观,体验的效果是这样的:

有网友评价称,“漫威感”扑面而来。

效果直逼漫威?

目前,Demo已经放出,量子位以《复仇者联盟3》中的一个片段为例,测试了一下实际效果,得到了这样的一幅图。

画面看上去的确非常惊艳,但是……如果不看原视频,只看这个漫画,你知道它讲的是啥吗?

......

现在给出正确答案:

体验Demo时,可以自己上传视频,也可以选择YouTube中的视频。当然,他们也提供了一些样本视频,可以直接体验。

如上图所示,在生成Demo时,还有一些选项,能够影响生成的漫画。

这些选项分别可以控制视频中帧的选择、每一帧的提取方法、图像评估方法,以及漫画的风格迁移模型。

这基本上也呈现出了项目团队的大致思路:使用基于强化学习的关键帧提取算法,提取视频中有意义且有代表性的帧,然后对关键帧进行评估,确认主要的画面之后,再进行使用GAN进行风格迁移,形成漫画风格。

在风格迁移方面,研究团队对当前已经发表的漫画风格迁移模型进行了研究,最后基于CartoonGAN的方法,利用MS COCO数据集训练出了自己的ComixGAN模型,作为Demo中的默认模型。

上手资料齐全

这个项目,来自于波兰华沙理工大学。Demo网站提供了API接口。

GitHub上也有源代码。

当然,论文也出来了。

不过,特别吐槽的一点是,这个Demo网站不稳定到让人吐血,动不动就崩溃,有些时候直接罢工。

如果你对这个项目感兴趣,且有足够的“耐心”,下面的传送门请收好:

论文:

https://arxiv.org/abs/1812.03473

Demo地址:

https://comixify.ii.pw.edu.pl/

GitHub:

https://github.com/maciej3031/comixify

活动报名

加入社群

量子位AI社群开始招募啦,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式;


此外,量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募,面向正在从事相关领域的工程师及研究人员。


进专业群请在量子位公众号(QbitAI)对话界面回复关键字“专业群”,获取入群方式。(专业群审核较严,敬请谅解)

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态



登录查看更多
11

相关内容

GAN:生成性对抗网,深度学习模型的一种,在神经网络模型中引入竞争机制,非常流行。
【DeepMind推荐】居家学习的人工智能干货资源大全集
专知会员服务
106+阅读 · 2020年6月27日
还在修改博士论文?这份《博士论文写作技巧》为你指南
专知会员服务
109+阅读 · 2020年3月12日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
31+阅读 · 2020年1月10日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
生成式对抗网络GAN异常检测
专知会员服务
114+阅读 · 2019年10月13日
手把手教你用Python做一个哄女友神器,小白可上手
网易智能菌
5+阅读 · 2019年6月15日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
资源丨用PyTorch实现Mask R-CNN
量子位
6+阅读 · 2018年7月23日
Arxiv
4+阅读 · 2018年9月25日
Arxiv
7+阅读 · 2018年5月21日
Arxiv
3+阅读 · 2018年4月3日
Arxiv
3+阅读 · 2018年3月14日
VIP会员
Top
微信扫码咨询专知VIP会员