深度伪造与检测技术综述

深度学习在计算机视觉领域取得了重大成功，超越了众多传统的方法.然而，近年来深度学习技术被滥用在假视频的制作上，使得以Deepfakes为代表的伪造视频在网络上泛滥成灾.这种深度伪造技术通过篡改或替换原始视频的人脸信息，并合成虚假的语音，来制作色情电影、虚假新闻、政治谣言等.为了消除此类伪造技术带来的负面影响，众多学者对假视频的鉴别进行了深入的研究，并提出一系列的检测方法帮助机构或社区来识别此类伪造视频.尽管如此，目前的检测技术仍然存在依赖特定分布数据、特定压缩率等众多的局限性，远远落后于假视频的生成技术.并且，不同的学者解决问题的角度不同，使用的数据集和评价指标均不统一.迄今为止，学术界对深度伪造与检测技术仍缺乏统一的认识，深度伪造和检测技术研究的体系架构尚不明确.在本综述中，我们回顾了深度伪造与检测技术的发展，并对现有研究工作进行了系统的总结和科学的归类.最后，我们讨论了深度伪造技术蔓延带来的社会风险，分析了检测技术的诸多局限性，并探讨了检测技术面临的挑战和潜在研究方向，旨在为后续学者进一步推动深度伪造检测技术的发展和部署提供指导.

近年来,以 Deepfakes [1]为代表的换脸技术开始在网络兴起.此类技术可将视频中的人脸替换成目标人物, 从而制作出目标人物做特定动作的假视频.随着深度学习技术的发展,自动编码器、生成对抗网络等技术逐渐 被应用到深度伪造中.由于 Deepfakes 技术只需要少量的人脸照片便可以实现视频换脸,一些恶意用户利用互联网上可获取的数据生成众多的假视频并应用在灰色地带,如将色情电影的女主角替换成女明星,给政客、公司高管等有影响力的人伪造一些视频内容,从而达到误导舆论,赢得选取,操纵股价等目的.这些虚假视频内容 极其逼真,在制作的同时往往伴随着音频的篡改,使得互联网用户几乎无法鉴别.如果这些深度伪造的内容作为新闻素材被制作传播,这会损害新闻机构的声誉和公众对媒体的信心.更深层次的,当遇到案件侦查和事故取证时,如果缺乏对 Deepfakes 类虚假影像资料的鉴别,将对司法体系产生巨大的挑战.尽管深度伪造技术有其积极的一面,如“复活”一些去世的人进行影视创作,以及 Zao APP[2]提供大众换脸娱乐服务等,但是目前负面影响远远大于正面,拥有鉴别此类深度伪造视频的能力变得尤为重要.

为了尽量减少深度伪造技术带来的影响,消除虚假视频的传播,学术界和工业界开始探索不同的深度伪 造检测技术.相继有学者构造数据集,展开对 Deepfakes 检测的多角度研究.脸书公司也联合微软一起举办全 球 Deepfakes 检测竞赛[3]以推动检测技术的发展.然而这些 Deepfakes 检测工作各有侧重,存在众多局限性.针 对本领域的综述工作还比较缺乏,只有针对早期图像篡改工作的一些总结[4][5],亟需对现有工作进行系统的整 理和科学的总结、归类,以促进该领域的研究.

本文首先在第1节中介绍深度伪造的各种相关技术,在第2节中列举了当下深度伪造研究的数据集,接着 在第 3 节中对现有的深度伪造检测技术进行系统的总结和归类.第 4 节我们讨论了深度伪造生成和检测技术 的双面对抗性,第 5 节我们总结了面临的挑战和未来可行的研究方向.最后,在第 6 节,我们对全文的工作进行 总结.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6140&flag=1