高清还原破损视频，参数和训练时间减少三分之二，台大这项研究登上了BMVC 2019

郭一璞 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

小刺猬的视频，被泼了墨。

用AI“清洗”一下，就干净了。

支离破碎的滑板视频。

这下变了回来。

一位黑哥哥在撸巨型老鼠，但是画面破损，看不清。

AI还原一下，现在好了。

每个被破损的视频，经过AI还原之后，仿佛从来没有被破坏过一样，完整清晰。

这是台湾大学发表在BMVC 2019的一项研究，一作是台大通讯与多媒体实验室学生Ya-Liang Chang。

核心创造：LGTSM

之所以能将视频画面修补的那么完美，要归功于研究者们提出的可学习的门控时移模块，Learnable Gated Temporal Shift Module，LGTSM。

LGTSM改进自2018年MIT-IBM沃森实验室提出的TSM模块，增加了门控卷积滤波器，设计了可学习的时间移位内核（temporal shifting kernels）。

由于移位操作仅使用1/4通道大小的附加缓冲器，因此与传统的2D卷积相比，它在计算时间和运行时内存方面成本很低。

这样，这个模块就能将模型的参数和训练时间都减少到原来的33%，达到几乎相同的表现效果。

在这个模块之外，整体的模型则是由U-net类生成器和TSMGAN鉴别器构成，LGTSM模块所处的位置就是生成器内，除此之外生成器还包括11个卷积层。

在不同数据集上跑的结果

用到的数据集是基于YouTube视频制作的FaceForensics和FVI数据集，总共视频数量超过16000个。

在两个数据集上，LGTSM和目前成绩最好的3DGated非常接近，但参数的数量却只有前者的三分之一。

传送门

论文：
Learnable Gated Temporal Shift Module for Deep Video Inpainting
Ya-Liang Chang, Zhe Yu Liu, Kuan-Ying Lee, Winston Hsu
https://arxiv.org/abs/1907.01131

GitHub：
https://github.com/amjltc295/Free-Form-Video-Inpainting

视频效果全集：
https://www.youtube.com/playlist?list=PLPoVtv-xp_dL5uckIzz1PKwNjg1yI0I94

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

精选推荐

数据显示，2/3的全球年收入在5亿美元以上的企业CMO认为：AI对未来营销活动至关重要。数字时代的营销，知识图谱、预测模型、人群分析等在AI技术驱动下越来越高效和精准。

统看亚太行业格局，国内数据技术平台运用增强型分析（Augmented Analytics，AA）和持续型智能（Continuous Intelligence，CI）等创新技术，在产品实力方面已经超越 Adobe，仅次于Salesforce。中国本土哪些数据平台正在运用AI技术和高级分析释放数据的力量？

点击下方图片链接，获取最新亚太DMP格局和技术实力权威分析。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !