千年一瞬,兵马俑竟眨眼了!外国小哥用AI复原了他

2022 年 7 月 26 日 新智元



  新智元报道  

编辑:桃子 如願
【新智元导读】穿越千年之前,外国博主借用AI技术让秦代兵马俑「活了过来」!|融合生态 价值共创——「2022新智者大会」开启,诸多业界大咖,精彩分享不间断!点击预约👇🏻


千年一瞬,他们眨眼的瞬间,仿佛历史重演。


前不久,外国博主Panagiotis Constantinou用AI修复了秦代兵马俑。



更令人惊艳的是,他还让古人做出了细微的动态表情。


快看,兵马俑在向你眨眼、微笑。


去过兵马俑后,大家都会对这些泥塑真人古迹的感到震撼。再看用AI复原后的兵马俑,竟变成了有血有肉的大叔。



每个兵马俑的表情都是千奇百态,几千年过去了,我们很难想象出他们当时的样子。


这位外国小哥让这些兵俑重新焕发了生机,穿越千年来和你对话。


此前,B站UP主大谷也对兵马俑进行了修复,让其嘴巴也动了起来。



其实,除了兵马俑,Panagiotis Constantinou还对埃及帝王敌后、古希腊哲学家、英国女王等做了一系列动态修复。


接下来一起欣赏下。


穿越时空相逢


古罗马末期声名显赫的首富Marcus Crassus



亚历山大大帝


古埃及艳后


英国女王


......

凭借这一系列修复,外国博主也爆火出圈,也引来许多人的关注。


修复技术


那么AI修复工作一般都是如何实现的呢?

大多都会用到这三个技术:第一个是负责做补帧的DAIN,第二个是做分辨率扩增的ESRGAN,第三个是上色的DeOldify。

DAIN:深度感知视频帧插值(DAIN)模型,通过探索深度信息来显式地检测遮挡。该项目开发了一个深度感知流动投影层,优选取样更近的物体,以合成中间流插补视频帧。


ESRGAN:ESRGAN改进自SRGAN ,主要用来做视频超分辨率。

与SRGAN的深层模型越来越难以训练相反,更深层次的 ESRGAN 模型通过简单的训练就能达到卓越的性能,核心点在于平衡视觉质量和峰值信噪比的网络插值策略。


DeOldify:DeOldify 使用了NoGAN 进行训练,NoGAN对于获得稳定和丰富多彩的图像是至关重要的。

NoGAN 训练结合了 GAN (美妙的着色)的好处,同时消除了副作用(如视频中的闪烁对象)。

不论是图像还是视频,AI能够将其修复得栩栩如生,最主要的是归功于它强大的学习能力。

这里我们再简单了解一下AI修复离不开的「灵魂GAN」。

还记得马和斑马相互转换的图像吗?这便是GAN的应用之一。



和其他经典的机器学习算法相比,GAN算法最大的创新点便是它结合了生成器(Generator)和判别器(Discriminator),以二者的相互对抗进而实现相互优化,最后达到一个「势均力敌」的状态。

以图像为例,判别器D经过反复训练,最后希望可以准确分辨出哪一个是真实的数据分布,哪一个是生成器的数据分布;同时,生成器G也不断地训练,最后希望能够以假乱真,让判别器判断不出到底哪个是真的图像,哪个是假的图像。

现在越来越多的技术像是AI修复、AI换脸等都离不开GAN网络,曾经困扰GAN的难题,比如难以收敛等也都渐渐得到了改善,而且基于GAN也衍生出了越来越多的更优秀的网络,比如CycleGAN、StackGAN等,愈加逼真、生动的图像逐一呈现在大众眼前。

现在大抵是「万物皆可AI」的时代了!

AI还会继续给我们带来何种视觉惊喜,我们拭目以待~~~

参考资料:

https://www.youtube.com/watch?v=K1ojdnvOXS0

https://github.com/junyanz/CycleGAN/blob/master/imgs/horse2zebra.gif




登录查看更多
0

相关内容

CVPR2022 | 多模态Transformer用于视频分割效果惊艳
专知会员服务
40+阅读 · 2022年3月12日
专知会员服务
22+阅读 · 2021年9月20日
专知会员服务
21+阅读 · 2021年8月10日
专知会员服务
38+阅读 · 2021年3月29日
【NeurIPS 2020】视觉注意力神经编码
专知会员服务
40+阅读 · 2020年10月4日
【CVPR2020-Facebook AI】前置不变表示的自监督学习
专知会员服务
46+阅读 · 2020年4月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关VIP内容
CVPR2022 | 多模态Transformer用于视频分割效果惊艳
专知会员服务
40+阅读 · 2022年3月12日
专知会员服务
22+阅读 · 2021年9月20日
专知会员服务
21+阅读 · 2021年8月10日
专知会员服务
38+阅读 · 2021年3月29日
【NeurIPS 2020】视觉注意力神经编码
专知会员服务
40+阅读 · 2020年10月4日
【CVPR2020-Facebook AI】前置不变表示的自监督学习
专知会员服务
46+阅读 · 2020年4月19日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员