【ICML2021】全局鲁棒神经网络

对抗性例子的威胁激发了训练可靠的鲁棒神经网络的工作，以便在推理时有效地验证局部鲁棒性。我们形式化了全局鲁棒的概念，它捕获了在线局部鲁棒认证的操作特性，同时为鲁棒训练提供了一个自然学习目标。我们证明，通过将有效的全局Lipschitz边界合并到网络中，通过构建达到最先进的可验证精度的可靠模型，广泛使用的体系结构可以很容易地适应这一目标。值得注意的是，与最近的认证训练方法相比，这种方法需要更少的时间和记忆，并且在在线认证点时成本可以忽略不计;例如，我们的评估表明，在大约几小时内训练一个大型鲁棒的Tiny-Imagenet模型是可能的。我们的模型有效地利用了便宜的全局Lipschitz边界来进行实时认证，尽管之前的建议是为了良好的性能需要更紧密的局部边界;我们假设这是可能的，因为我们的模型经过专门训练，以实现更紧密的全局边界。也就是说，我们证明了对于给定的数据集，最大可实现的可验证精度不能通过使用局部边界来提高。

https://arxiv.org/abs/2102.08452