【ICML2021】二值化网络（BNN）训练与优化

这篇论文从二值化网络训练过程中的常见问题切入，一步步给出对应的解决方案，最后收敛到了一个实用化的训练策略。接下来就跟着这篇论文一起看看二值化网络（BNN）应该如何优化。

首先，BNN 的优化器应该如何选取?

可以看到，BNN 的优化曲面明显不同于实数值网络，如下图所示。实数值网络在局部最小值附近有更加平滑的曲面，因此实数值网络也更容易泛化到测试集。相比而言，BNN 的优化曲面更陡，因此泛化性差并且优化难度大。