反向传播精华 - 专知

会员服务 ·

反向传播

反向传播一词严格来说仅指用于计算梯度的算法，而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法，包括如何使用梯度，例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则，该规则是反向传播的单层版本，然后通过自动微分进行广义化，其中反向传播是反向累积（或“反向模式”）的特例。在机器学习中，反向传播（backprop）是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络（ANN）都存在反向传播的一般化–一类算法，通常称为“反向传播”。反向传播算法的工作原理是，通过链规则计算损失函数相对于每个权重的梯度，一次计算一层，从最后一层开始向后迭代，以避免链规则中中间项的冗余计算。

深度学习---反向传播的具体案例
- https://zhuanlan.zhihu.com/p/23270674
CS231n Convolutional Neural Networks for Visual Recognition
- http://cs231n.github.io/optimization-2/
反向传播：可计算的图形（Computational Graphs...
- https://zhuanlan.zhihu.com/p/21612460
Deep Learning without Backpropagation - i am trask
- http://iamtrask.github.io/2017/03/21/synthetic-gradients/
A Neural Network in 11 lines of Python (Part 1) - i am trask
- http://iamtrask.github.io/2015/07/12/basic-python-network/
循环神经网络教程第三部分-BPTT和梯度消失
- https://zhuanlan.zhihu.com/p/22338087
神经网络中利用矩阵进行反向传播运算的实质
- https://zhuanlan.zhihu.com/p/25496760
Batch Normalization的反向传播 | H.C's Blog
- https://git-hclee.github.io/2017/07/11/Batch-Normalization%E7%9A%84%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD/
Factor-Network DEMO
- https://lucifier129.github.io/factor-network/examples/build/
通俗理解神经网络BP传播算法
- https://zhuanlan.zhihu.com/p/24801814
详解反向传播算法(下)
- https://zhuanlan.zhihu.com/p/25416673
第十三课：正向传播、反向传播和通过时间反向传播
- https://zhuanlan.zhihu.com/p/32273645
《神经网络与深度学习》笔记6-反向传播算法(下)
- https://zhuanlan.zhihu.com/p/25939241
河童的世界
- https://zhuanlan.zhihu.com/dajiahao
softmax层反向传播求导过程
- https://zhuanlan.zhihu.com/p/27313383
PyTorch中的backward | Sherlock Blog
- https://sherlockliao.github.io/2017/07/10/backward/
趣AI
- https://zhuanlan.zhihu.com/qu-ai
Bptt反向传播算法 In Rnn | Xiandong
- https://xiandong79.github.io/BPTT%E5%8F%8D%E5%90%91%E4%BC%A0%E6%92%AD%E7%AE%97%E6%B3%95-in-RNN
C++/ Deep Learning/ Computer Vision
- https://csf0429.github.io/
用例子学习 PyTorch | 技术闲谈
- https://ranmaosong.github.io/2017/12/27/Learning-PyTorch-with-Examples/

展开全文

参考链接

父主题

子主题

梯度消失与爆炸问题

微信扫码咨询专知VIP会员