深度学习在电影特效制作上有哪些应用？

人工智能技术会为影视特效行业带来颠覆性的革命。

很快你将看到一些非常耗费人工而繁琐的操作将由AI协助完成，比如手工拓扑、LOD、环境道具摆放、Mocap数据清理、展开UV贴图、程序化场景生成等，特效制作将更加快捷智能。

先从最前期的概念设计开始：

Nvidia发布的人工智能绘图工具GauGAN，只需要简单的色块就可以生成具有细节和光影的风景：

这个工具已经被一些艺术家用来创建场景概念：

还可以快速地进行光照和色彩转换：

骨骼绑定

马萨诸塞大学阿默斯特分校和多伦多大学的自动绑定工具RigNet，可自动预测角色骨架，计算皮肤权重，生成角色动画。

这一技术用多个GMEdgeNet图神经网络，分别预测顶点向相邻关节的位移，以及网格上的注意力函数。中间用聚类模型找到关节的位置，最后用BoneNet模型和最小生成树算法生成骨骼、权重等。

不过这个技术目前还不能代替高级绑定师，但已经比初学者优秀很多，未来成熟后骨骼绑定将进一步简化。

角色动画

育碧的Robust Motion In-betweening，利用AI实现关键姿势之间的补帧。

他们还发布了基于深度学习的运动匹配技术，可自主生成符合环境语义的动画。

考虑到育碧是游戏行业，这个技术在游戏中很有用，如果用到影视特效领域，可进一步升级集群角色动画的水准。例如这种：

Nekki的软件Cascadeur，使用基于物理和机器学习的工具，简化了角色动画制作，现已成为生产力工具，落地并且开源：

肌肉动画

Ziva Dynamics 使用人工智能增强肌肉系统和物理动画

流体特效

传统的流体模拟需要大量的计算资源，基于机器学习的方法将之转化为回归问题，最快可提高1000倍的计算

表情捕捉

传统面部捕捉需要在演员脸部使用标记点，以求获得精确的捕捉数据 。Dynamixyz 的新版Performer使用机器学习算法，从演员的特定数据中进行学习，可自动精确提取运动并传输到Maya、3DS Max等的目标角色上

渲染

这个更加成熟，利用人工智能降噪，能够加快90%以上的渲染时间，现已经在Blender等软件中进入商业应用

抠像

Soumyadip Sengupta等人的Background Matting通过AI可实现非绿幕抠像。这个目前达不到商业精度，头发有模糊。但考虑到除此之外，传统技术对这种场景的抠像毫无办法，有胜于无吧……未来能不能抠头发，谁知道呢？

升格

英伟达的Super SloMo和上海交大的DAIN，可以将普通30fps视频转化成240fps、 480fps慢动作

Roto

基于光流的AI视频修复算法，完美RO掉你不想看到的东西，作者Chen Gao, Ayush Saraf, Jia-Bin Huang等，很快会落地商业

高分辨率修复

4K修复这个已经成熟到烂大街了，推荐看下TecoGAN，通过自我监督学习时间连贯性GAN视频生成，质量新高度

调色

Luminar 4和MagicTints 等工具利用人工智能技术，加入皮肤滤镜、背景替换等增强工具，现已落地（目前是图片，视频很快会跟上）

……相关的例子数不胜数，只不过部分深度学习工具还在论文阶段，到垂直领域的应用才刚刚开始探索，落地到商业应用还有一段时间，大家不要着急。记得几年前，某头部IT公司的AI技术总监信誓旦旦地对我说，人工智能没有办法用到影视行业，虚拟人脸最多512像素，blabla……现在4k虚拟人脸也出来了。这才2年就打脸了。所以，大家不要对未来轻易设限。

一句话总结：让子弹飞一会儿。

好了，不耽误大家看电影了：

欢迎来公众号“冷芝士”找我玩儿！