【速览】ECCV 2022 | 针对二值神经网络的循环双线性优化

2022 年 9 月 23 日 中国图象图形学学会CSIG

学会“成果速览”系列文章旨在将图像图形领域会议期刊重要成果进行传播，通过短篇文章让读者用母语快速了解相关学术动态，欢迎关注和投稿~

◆ ◆ ◆ ◆

ECCV 2022：针对二值神经网络的循环双线性优化

Sheng Xu

^{1＃}

, Yanjing Li

^{1＃}

, Tiancheng Wang

^{1}

, Teli Ma

^{2}

, Baochang Zhang

^{1,3*}

, Peng Gao

^{2}

, Yu Qiao

^{2}

, Jinhu Lü

^{1,3}

, Guodong Guo

^{4,5}

^{1}

北京航空航天大学，

^{2}

上海人工智能实验室，

^{3}

中关村实验室，

^{4}

百度深度学习研究院，

^{5}

深度学习技术及应用国家工程研究中心

ECCV 2022 Oral.

撰稿人：徐昇

*通讯作者：Baochang Zhang

推荐理事：林宙辰

原文标题：Recurrent Bilinear Optimization for Binary Neural Networks

原文链接：https://arxiv.org/abs/2209.01542

论文代码：https://github.com/SteveTsui/RBONN

◆ ◆ ◆ ◆

摘要

二值神经网络（BNN）在现实世界的嵌入式设备中显示出巨大的前景。作为实现高性能的BNN的关键步骤之一，缩放因子（scale factor）的计算在减少与全精度对应的性能差距方面起着至关重要的作用。然而，现有的BNN忽略了实值权重和比例因子之间的本质的双线性关系，导致了由于训练过程不足而导致的次优模型。为了解决这个问题，我们提出了一种循环双线性优化（RBONN），通过在反向传播过程中关联内在双线性变量来改进BNN的学习过程。我们的工作是首次尝试从双线性角度来建模BNN的优化问题。具体而言，我们提出了一种循环优化和密度-ReLU函数（DReLU）来时序回溯稀疏的实值权重，这些权重将经过充分训练，并基于一种可控的学习过程达到其性能极限。我们获得了鲁棒的RBONN，它在各种模型和数据集上表现出行业领先的性能。特别是在目标检测任务上，RBONN具有良好的泛化性能。

图 1 RBONN的框架。传统的基于梯度的算法假设双线性模型中的隐藏变量是独立的，由于忽略了与缩放因子矩阵A之间的关系，导致w的训练不足，如损失面（右部分）所示。我们的RBONN可以帮助w摆脱局部极小值（绿色虚线），并获得更好的解（红色虚线）。

以前的BNN [1, 2]学习方法通过近似实值权重滤波器 $\mathbf{w}$ 来计算比例因子，使得 $\mathbf{w}\approx \alpha \circ \mathbf{b}^{\mathbf{w}}$ ，其中 $\alpha \in \mathbb{R}_{+}$ 是缩放因子，而 $\mathbf{b}^{\mathbf{w}}= \mathrm{sign}\left ( \mathbf{w} \right )$ ，以增强BNN的表征能力。本质上，近似可被视为双线性优化问题，目标函数为

或者

其中 $\mathcal{A}= diag\left ( \frac{1}{\alpha _{1} } ,\dots ,\frac{1}{\alpha _{N} } \right )$ ，其中， $N$ 是 $\alpha$ 中的元素数， $\circ$ 表示逐信道乘法， $\mathit{R}\left ( \cdot \right )$ 表示正则化，通常为 $\ell _{1}$ 或 $\ell _{2}$ 范数。 $G\left ( \mathbf{w},\mathcal{A} \right )$ 包括在计算机视觉领域广泛使用的双线性形式。

本文中，我们给出BNN的目标函数为：

其中 $\lambda$ 是超参数。因此，传统的梯度下降法可用于解决双线性优化问题，如:

其中， $\eta _{1}$ 是学习率， $\hat{G} \left ( \mathbf{w}^{t} ,\mathcal{A}^{t} \right ) = \left ( \mathcal{A}^{t}\mathbf{w}^{t}- \mathbf{b}^{\mathbf{wt}} \right )^{T}$ 。传统梯度下降算法在用于双线性模型时，通常迭代优化一个变量，同时保持另一个变量固定。这实际上是一个次优解，因为在优化中忽略了两个隐藏变量之间的关系。例如，当 $\mathbf{w}$ 由于稀疏正则化项 $\mathit{R}\left ( \mathbf{w} \right )$ 而接近零时， $\mathcal{A}$ 由于 $\mathit{G}\left ( \cdot \right )$ 将具有更大的幅度。因此，上述梯度等式中的第一项和第二项将被显著抑制，导致A的梯度消失问题。相反，如果 $\mathcal{A}$ 在优化过程中变化很小， $\mathbf{w}$ 也会由于 $\mathit{G}\left ( \cdot \right )$ 的监督而出现消失的梯度问题，导致局部极小值。由于 $\mathbf{w}$ 和 $$\mathcal{A}$ 之间的耦合关系， $\mathbf{w}$ 的梯度计算具有挑战性。

我们从一个新的角度解决了等式(1)中的问题，即 $\mathrm{w}$ 和 $\alpha$ 是耦合的。如上所述，我们旨在防止 $\mathcal{A}$ 变得更密集， $\mathbf{w}$ 变稀疏。首先，基于链式法则及其在[3]中的符号，我们得到了 $\widehat{\mathrm{w}} _{i,j}$ 的更新规则的标量形式如下

其基于 $\mathrm{w}_{i,j}^{t+1} = \mathrm{w}_{i,j}^{t}- \eta _{2}\frac{∂L}{∂\mathrm{w}_{i,j}^{t}}$ 。当考虑 $\mathbf{w}$ 和 $\mathcal{A}$ 的耦合时， $\widehat{\mathrm{w}}_{i,j}^{t+1}$ 表示第t+1次迭代时的 $\mathbf{w}$ 。计算耦合变量 $\mathbf{w}$ 的梯度时，还应使用链式法则考虑耦合变量 $\mathcal{A}$ 梯度。当不考虑耦合关系时，原始的 $\mathrm{w}_{i,j}^{t+1}$ 表示在第t+1次迭代中计算得到的 $\mathbf{w}$ 。这里，为了简单起见，我们使用 $I= C_{out}$ 和 $J= C_{in}$ 。通过将 $w$ 写成行向量 $\left [ \mathbf{w}_{1},\dots ,\mathbf{w}_{I} \right ] ^{T}$ ，并将 $\hat{G}$ 写成列向量 $\left [ \hat{g_{1} },\dots ,\hat{g_{I} } \right ]$ 并使用 $i= 1,\dots ,I$ 和 $j= 1,\dots ,J$ ，我们可以看到当 $\forall n\ne j$ 时， $\mathcal{A}_{i,i}$ 和 $\mathrm{w}_{n,j}$ 是独立的。当省略上标 $\cdot ^{t}$ 时，我们得到 $\frac{∂A}{∂\mathrm{w}}$ 的第 $i$ 个分量为

然后得到

结合上面两个公式可以得到

之后，更新公式中的迹项的第 $i$ 个分量可通过以下公式计算

其中 $\eta _{2}$ 表示全精度权重 $\mathrm{w}$ 的学习率, $\otimes$ 表示哈达玛积。我们令 $d^{t} =- \left [ \hat{g_{1} } \Sigma _{j=1}^{J} \frac{\partial \mathcal{A}_{1,1}^{t} }{\partial \mathrm{w}_{1,j}^{t} } ,\dots ,\hat{g_{1} } \Sigma _{j=1}^{J} \frac{\partial \mathcal{A}_{i,i}^{t} }{\partial \mathrm{w}_{1,j}^{t} } \right ]^{T}$ ，而这一项在二值神经网络的反向传播中是不可求解的并且未被定义的。为了解决这个问题，我们使用循环网络来近似 $d^t$ 并且得到

并且

其中，我们引入了一个隐藏层，该隐藏层具有按通道可学习的权重 $U\in \mathbb{R} _{+}^{C_{out} }$ 。为了实现可控的循环优化，我们提出 $DReLU\left ( \cdot \right )$ 来监督这种优化过程。我们使用的按通道可学习的 $DReLU\left ( \cdot \right )$ 如下

其中 $\mathbf{w}^{'} = diag\left ( \left \| \mathbf{w}_{1} \right \| _{1} ,\dots ,\left \| \mathbf{w}_{C_{out} } \right \| _{1} \right )$ 。我们判断收敛发生在基于 $\left ( \neg D\left ( \mathbf{w_{i}^{'} } \right ) \wedge D\left ( \mathcal{A}_{i} \right ) \right ) =1$ 的优化中，其中密度函数定义为

其中 $\mathcal{T}$ 由 $\mathcal{T} =int\left ( C_{out}\times \mathcal{τ} \right )$ 定义。τ是表示阈值。 $\sigma \left ( x \right ) _{i}$ 表示对角矩阵 $x$ 的第 $i$ 个特征值， $x_i$ 表示矩阵 $x$ 的第 $i$ 行。最后，我们定义了U的优化过程为

其中 $\eta _{3}$ 表示 $U$ 的学习率。

我们在图像分类以及目标检测任务上验证了算法的性能。首先，我们在ImageNet数据集上调整并寻得了最优的超参数设定。

图 2 超参数λ和τ对使用二值ResNet-18的单阶段和两训练的影响

如上图所示，当 $\lambda =1e-4$ 且 $τ=0.6$ 时，网络的性能达到最优，因此我们在所有的网络与任务上都沿用这套超参数设定。其次，我们分析了RBONN与ReActNet [4]的权重分布差异，如下图：

图 3 经由两阶段训练的二值ResNet-18上，RBONN和ReActNet的权重（红色）和比例矩阵（蓝色）分布

我们首先分析训练ReActNet和RBONN的权重分布，以比较分析 $\mathbf{w}$ 的稀疏性。对于一个二值ResNet-18，我们分析了ResNet-18的第一层和第六层二值卷积层。ReActNet和我们的RBONN的权重分布（二值化之前）如图的左部分所示。可以看到，ReActNet的权重值在零中心附近紧密混合，且数值大小仍然稀疏。因此，二值化结果对任何可能的干扰的鲁棒性要低得多。相比之下，我们的RBONN通过形成双峰分布获得权重，从而实现了对干扰的鲁棒性。{此外，我们在图的右部分绘制了比例矩阵 $\mathcal{A}$ 中非零元素的分布。与ReActNet相比，我们的RBONN的标度值密度较小。因此，结果表明，我们的RBONN可以防止 $\mathcal{A}$ 变得更密集， $\mathbf{w}$ 变稀疏，这验证了我们的动机。

在图像分类任务上，我们首先在单阶段训练上验证了RBONN的性能。

表 1 与单阶段训练二值ResNet-18网络在的ImageNet上的SOTA的性能比较

如上表所示，在与其他SOTA方法的比较中，RBONN在Top-1和Top-5精度方面优于所有评估的二值模型。使用ResNet-18模型下，RBONN的op-1和Top-5精度分别达到61.4%和83.4%，比RBNN [5]提高了1.8%和1.9%。

我们进一步比较了二阶段训练的性能，如下表所示：

表 2 与两阶段训练二值ResNet-18网络在的ImageNet上的SOTA的性能比较

相比于此前的ReActNet[4]与ReCU[6]，RBONN分别在ResNet-18的骨架网络上提高了0.8%与0.3%的Top-1精度。在ReActNet-A网络上，提高了1.2%的Top-1精度，实现了一个新的SOTA性能。

在目标检测任务上，我们进一步测试了RBONN的性能。

表 3 RBONN与其他方法在在PASCAL VOC上的性能对比

首先，在PASCAL VOC数据集上，RBONN超越了存在的SOTA方法的性能。我们将提出的RBNN与现有的最先进的BNN进行了比较，如BiDet [7]。与其他二值方法相比，我们的RBONN比其他方法有显著改进。在相同的内存利用率和FLOPs情况下，我们的RBONN比BiDet的性能在Faster-RCNN和SSD检测框架上分别高出5.9%与3.4%，这在目标检测任务中是相当显著的。

表 4 RBONN与其他方法在在COCO上的性能对比

在PASCAL VOC数据集上，RBONN超越了存在的SOTA方法的性能。与BiDet法相比，我们的RBONN比在Faster-RCNN和SSD检测框架上在mAP指标分别高出4.9%与4.1%，这在目标检测任务中是相当显著的。

结论

本文提出了一种新的学习算法，称为递归双线性优化，以有效地计算BNN，这是首次尝试从双线性角度优化BNN。我们的方法特别引入递归优化来顺序回溯稀疏实值权重滤波器，该滤波器可以充分训练，并基于可控学习过程达到其性能极限。RBONN具有很强的泛化能力，在图像分类和目标检测任务中都获得了令人印象深刻的性能，证明了所提出的方法优于最先进的BNN。

参考文献

[1] Gu, J., Li, C., Zhang, B., Han, J., Cao, X., Liu, J., Doermann, D.: Projection convolutional neural networks for 1-bit cnns via discrete back propagation. In: Proc. of AAAI. pp. 8344–8351 (2019)

[2] Zhao, J., Xu, S., Zhang, B., Gu, J., Doermann, D., Guo, G.: Towards compact 1- bit cnns via bayesian learning. International Journal of Computer Vision 130(2), 201–225 (2022)

[3] Petersen, K., Pedersen, M., et al.: The matrix cookbook. Technical University of Denmark 15 (2008)

[4] Liu, Z., Shen, Z., Savvides, M., Cheng, K.T.: Reactnet: Towards precise binary neural network with generalized activation functions. In: Proc. of ECCV. pp. 143– 159 (2020)

[5] Lin, M., Ji, R., Xu, Z., Zhang, B., Wang, Y., Wu, Y., Huang, F., Lin, C.W.: Rotated binary neural network. In: Proc. of NeurIPS. pp. 1–9 (2020)

[6] Xu, Z., Lin, M., Liu, J., Chen, J., Shao, L., Gao, Y., Tian, Y., Ji, R.: Recu: Reviving the dead weights in binary neural networks. In: Proc. of ICCV. pp. 5198–5208 (2021)

[7] Wang, Z., Wu, Z., Lu, J., Zhou, J.: Bidet: An efficient binarized object detector. In: Proc. of CVPR. pp. 2049–2058 (2020)