图：一名身穿对抗迷彩服的士兵（左）。
1 第一阶段总结
在第一阶段，本研究聚焦新型输入表征对模型鲁棒性的影响机制。通过UCF101视频行为识别场景（UCF101）验证该假设，提交多种防御配置方案。选择UCF101场景因其强制模型从行为识别视角理解人机交互机制。
为验证假设，开发多种空间一致性方法：通过背景分割与消融约束输入特征；分析基准模型"动作识别运动增强RGB流"（MARS）的时序一致性特征。背景消融与实例分割特征提取器未作鲁棒性设计——实验结果证实此环节为防御体系最薄弱点。尝试采用随机平滑技术增强实例分割模型鲁棒性。我们认为鲁棒优化与特征提取技术结合可提升端到端鲁棒性，该方向在GARD项目第二阶段深入探索。
同时探索基于人体关键点的UCF101行为表征方法。使用**图卷积网络（GCN）**建模骨骼语义与时序一致性。既往研究表明：相比像素操作，骨骼表征对人体建模更具鲁棒性。本防御体系整合关键点检测模型与GCN，追踪UCF101人体动作时空运动以验证该假设。独立于申报方案外，同步研究"文本环境重组对抗补丁"（APRICOT）目标检测场景。发现构建符合APRICOT核心精神的防御颇具挑战——因该场景不支持适应性攻击，简单像素操作常削弱对抗补丁效力。最终采用仿真方案替代APRICOT方法，因仿真支持适应性物理可实现攻击。
需强调的是，第一阶段研究完全依赖Armory平台与指定数据集，早期场景适配至关重要。例如：为修正Armory的UCF101数据集分布偏移，多次更新结果；APRICOT数据集在标签标注与适应性攻击实现方面均存在挑战。
2 第二阶段总结
GARD第二阶段采取双轨策略：一方面投入CARLA仿真器数据生成；另一方面增强多模态鲁棒特征方案。仿真支持定制化数据集构建：为此开发数据采集工具（通过YAML配置文件指定CARLA数据采集项）与数据标注工具（从采集数据提取真值标注）。为提升标注效用，为CARLA 0.9.13版开发实例分割传感器——该传感器为每个物体分配唯一标识符，使工具能对同类重叠物体消歧。为提升数据采集可扩展性，将工具链与CARLA客户端集成至Docker镜像。该镜像结合场景配置文件使GARD评估员构建三大新场景：单模态目标检测、多模态目标检测及目标追踪。这些工具同时支持研究者从场景采集辅助数据（如从目标追踪场景提取关键点标注，验证光流模态有效性）。
仿真平衡攻防双方条件：网络物理系统依赖传感器感知现实世界，而数字空间攻击手段常规避传感机制获得不公平优势。虽有研究（含本团队）描述物理可实现攻击方法，但因需实体制作仍难实施。攻击方在现实环境控制力有限，其攻击需泛化至光照、遮挡及传感器运动等环境变量（如同防御方要求）。为实现攻击评估真实性，将GARD评估攻击组件打包至Docker容器。由此展示如何通过YAML配置动态修改攻击补丁纹理，使未来评估能衡量攻击（及防御）在真实场景下的效力。仿真替代方案被证实是平衡攻防的有效途径，深化了对对抗样本的理解。
最后扩展鲁棒特征方案至多模态输入：将UCF101行为识别的防御理念延伸至目标检测与追踪任务。新防御机制挖掘各场景特征：如目标追踪场景的静态摄像头特性，或深度模态的物体定位能力。这些防御促使评估员修改场景特征增加防御难度。我们甚至主动升级工具"破解"自身防御（如增加多行人支持与摄像头运动机制）以深入验证目标追踪防御体系。工具链、防御理念与攻击能力共同为高成效的第三阶段奠定基础。
第三阶段
本阶段将充分利用仿真与合成数据工具构建鲁棒特征表征体系：仿真支持独立采集多模态数据，自动标注工具构建多任务标注体系，二者结合实现鲁棒特征表征部署。仿真同时支持实例化物理可实现攻击，以此完善威胁模型并在公平环境下验证防御效能。后续章节将按季度总结进展。
原文
相关内容
微信扫码咨询专知VIP会员