【ICLR2020】用实对二进制卷积训练二进制神经网络，Training Binary Neural Networks with Real-to-Binary Convolutions

题目： Training Binary Neural Networks with Real-to-Binary Convolutions

摘要：

本文展示了如何将二进制网络训练到与完全精确网络相当的几个百分点(∼3−5%)之内。我们首先展示如何建立一个强大的基线，该基线通过结合最近提出的进展和仔细调整优化过程已经达到了最先进的精度。其次，我们证明了通过最小化二进制信号的输出和相应的实值卷积之间的差异，可以获得额外显著的精度增益。我们以两种互补的方式实现了这个想法:

• (1)具有损失函数，在训练过程中，通过对二值卷积和实值卷积输出的空间注意图进行匹配；
• (2)以数据驱动的方式，利用二值化过程之前的推理过程中可用的实值激活，在二进制卷积之后重新缩放激活。

最后，我们证明，当我们把所有的改进放在一起，当使用ResNet-18架构时，该模型在ImageNet上的top-1精度超过当前水平的5%，并将其与CIFAR-100和ImageNet上的real-value精度的差距分别降低到不足3%和5%。