As AI-generated images become increasingly photorealistic, distinguishing them from natural images poses a growing challenge. This paper presents a robust detection framework that leverages multiple uncertainty measures to decide whether to trust or reject a model's predictions. We focus on three complementary techniques: Fisher Information, which captures the sensitivity of model parameters to input variations; entropy-based uncertainty from Monte Carlo Dropout, which reflects predictive variability; and predictive variance from a Deep Kernel Learning framework using a Gaussian Process classifier. To integrate these diverse uncertainty signals, Particle Swarm Optimisation is used to learn optimal weightings and determine an adaptive rejection threshold. The model is trained on Stable Diffusion-generated images and evaluated on GLIDE, VQDM, Midjourney, BigGAN, and StyleGAN3, each introducing significant distribution shifts. While standard metrics such as prediction probability and Fisher-based measures perform well in distribution, their effectiveness degrades under shift. In contrast, the Combined Uncertainty measure consistently achieves an incorrect rejection rate of approximately 70 percent on unseen generators, successfully filtering most misclassified AI samples. Although the system occasionally rejects correct predictions from newer generators, this conservative behaviour is acceptable, as rejected samples can support retraining. The framework maintains high acceptance of accurate predictions for natural images and in-domain AI data. Under adversarial attacks using FGSM and PGD, the Combined Uncertainty method rejects around 61 percent of successful attacks, while GP-based uncertainty alone achieves up to 80 percent. Overall, the results demonstrate that multi-source uncertainty fusion provides a resilient and adaptive solution for AI-generated image detection.


翻译:随着AI生成图像日益逼真,区分其与自然图像的挑战与日俱增。本文提出一种鲁棒的检测框架,通过融合多种不确定性度量来决定是否信任或拒绝模型的预测。我们聚焦于三种互补的技术:费舍尔信息(捕捉模型参数对输入变化的敏感性)、基于蒙特卡洛Dropout熵的不确定性(反映预测变异性)以及采用高斯过程分类器的深度核学习框架产生的预测方差。为整合这些多样化的不确定性信号,我们利用粒子群优化算法学习最优权重并确定自适应拒绝阈值。该模型在Stable Diffusion生成的图像上进行训练,并在GLIDE、VQDM、Midjourney、BigGAN和StyleGAN3等生成器上进行评估——每种生成器均引入了显著的分布偏移。标准度量指标(如预测概率和基于费舍尔信息的度量)在分布内表现良好,但其有效性在分布偏移下会下降。相比之下,组合不确定性度量在未见过的生成器上始终维持约70%的错误拒绝率,成功过滤了大部分误分类的AI样本。尽管系统偶尔会拒绝来自新生成器的正确预测,但这种保守行为是可接受的,因为被拒绝的样本可用于支持模型重训练。该框架对自然图像和域内AI数据保持较高的准确预测接受率。在使用FGSM和PGD进行的对抗攻击下,组合不确定性方法拒绝了约61%的成功攻击,而仅基于高斯过程的不确定性度量最高可达到80%。总体而言,研究结果表明多源不确定性融合为AI生成图像检测提供了具有韧性与自适应能力的解决方案。

0
下载
关闭预览

相关内容

【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
相关基金
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员