The proliferation of generative video models has made detecting AI-generated and manipulated videos an urgent challenge. Existing detection approaches often fail to generalize across diverse manipulation types due to their reliance on isolated spatial, temporal, or spectral information, and typically require large models to perform well. This paper introduces SSTGNN, a lightweight Spatial-Spectral-Temporal Graph Neural Network framework that represents videos as structured graphs, enabling joint reasoning over spatial inconsistencies, temporal artifacts, and spectral distortions. SSTGNN incorporates learnable spectral filters and spatial-temporal differential modeling into a unified graph-based architecture, capturing subtle manipulation traces more effectively. Extensive experiments on diverse benchmark datasets demonstrate that SSTGNN not only achieves superior performance in both in-domain and cross-domain settings, but also offers strong efficiency and resource allocation. Remarkably, SSTGNN accomplishes these results with up to 42$\times$ fewer parameters than state-of-the-art models, making it highly lightweight and resource-friendly for real-world deployment.


翻译:生成式视频模型的激增使得检测人工智能生成和篡改视频成为一项紧迫挑战。现有检测方法通常依赖于孤立的空间、时间或频谱信息,因此难以泛化至多种篡改类型,且通常需要大型模型才能表现良好。本文提出SSTGNN,一种轻量化的空间-频谱-时序图神经网络框架,该框架将视频表示为结构化图,从而能够对空间不一致性、时序伪影和频谱失真进行联合推理。SSTGNN将可学习的频谱滤波器与时空差分建模整合到一个统一的基于图的架构中,更有效地捕捉细微的篡改痕迹。在多种基准数据集上的大量实验表明,SSTGNN不仅在域内和跨域设置下均实现了卓越性能,同时还具备强大的效率和资源分配能力。值得注意的是,SSTGNN以比最先进模型少高达42倍的参数量实现了这些结果,使其对于实际部署而言高度轻量化和资源友好。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员