反向传播一词严格来说仅指用于计算梯度的算法,而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法,包括如何使用梯度,例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则,该规则是反向传播的单层版本,然后通过自动微分进行广义化,其中反向传播是反向累积(或“反向模式”)的特例。 在机器学习中,反向传播(backprop)是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络(ANN)都存在反向传播的一般化–一类算法,通常称为“反向传播”。反向传播算法的工作原理是,通过链规则计算损失函数相对于每个权重的梯度,一次计算一层,从最后一层开始向后迭代,以避免链规则中中间项的冗余计算。

VIP内容

题目: Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection

摘要:

弱监督学习通过减少训练过程中对强监督的需求,已经成为一种引人注目的对象检测工具。然而,主要的挑战仍然存在:(1)对象实例的区分可能是模糊的;(2)探测器往往聚焦于有区别的部分,而不是整个物体;(3)如果准确性不高,对象建议对于高回忆来说是冗余的,这会导致大量的内存消耗。解决这些挑战是困难的,因为它经常需要消除不确定性和琐碎的解决方案。为了解决这些问题,我们开发了一个实例感知和上下文相关的统一框架。它采用了一个实例感知的自训练算法和一个可学习的具体DropBlock,同时设计了一个内存有效的顺序批处理反向传播。我们提出的方法在COCO(12.1%的AP, 24.8%的AP50)、VOC 2007(54.9%的AP)和VOC 2012(52.1%的AP)上取得了最先进的结果,极大地改善了基线。此外,该方法是第一个对基于ResNet的模型和弱监督视频对象检测进行基准测试的方法。

成为VIP会员查看完整内容
0
19

最新论文

Equilibrium Propagation (EP) is a biologically-inspired counterpart of Backpropagation Through Time (BPTT) which, owing to its strong theoretical guarantees and the locality in space of its learning rule, fosters the design of energy-efficient hardware dedicated to learning. In practice, however, EP does not scale to visual tasks harder than MNIST. In this work, we show that a bias in the gradient estimate of EP, inherent in the use of finite nudging, is responsible for this phenomenon and that cancelling it allows training deep ConvNets by EP, including architectures with distinct forward and backward connections. These results highlight EP as a scalable approach to compute error gradients in deep neural networks, thereby motivating its hardware implementation.

0
0
下载
预览
Top