[CVPR 2020-港中文-MIT] 神经架构搜索鲁棒性

对抗攻击的最新进展揭示了现代深层神经网络的内在弱点。从那时起，人们就致力于通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中，我们从体系结构的角度研究了网络体系结构的模式，这些模式对对抗攻击具有弹性。为了获得本研究所需的大量网络，我们采用单次神经结构搜索，对一个大网络进行一次训练，然后对采样的子网络进行细化。采样的结构及其实现的精度为我们的研究提供了丰富的基础。我们的“健壮架构Odyssey”揭示了几个有价值的观察结果:1)紧密连接的模式提高了健壮性;2)在计算预算下，直接连接边加入卷积运算是有效的;3)求解过程流(FSP)矩阵是网络鲁棒性的良好指标。基于这些观察，我们发现了一系列健壮的体系结构(RobNets)。在各种数据集上，包括CIFAR、SVHN、Tiny-ImageNet和ImageNet，与其他广泛使用的体系结构相比，RobNets具有更好的健壮性性能。值得注意的是，在白盒和黑箱攻击下，即使参数数更少，RobNets也能显著提高鲁棒精度(~5%的绝对增益)。