你真的理解反向传播 BP 算法吗?

2019 年 3 月 15 日 人工智能头条

你真的理解反向传播 BP 算法吗?

Chat 简介:

我们经常会听到深度网络会出现梯度消失或者梯度爆炸问题,但是使用某些策略又可以缓解这个问题,那么你知道为什么会出现这些问题,这些策略为什么又可以缓解了,深度网络里面到底是怎么工作的?

在本次话题中,我们将基于浅层神经网络进行入门级的讲解,具体内容包含:

  1. 神经网络的经典结构

  2. 神经网络的学习算法-梯度下降算法

  3. BP 反向传播算法深度解剖

  4. 更深网络会出现梯度消失或者梯度爆炸的原因分析

长按扫码订阅

我们在成长中不断努力学习

我们在学习中拉开人生差距

登录查看更多
3

相关内容

反向传播一词严格来说仅指用于计算梯度的算法,而不是指如何使用梯度。但是该术语通常被宽松地指整个学习算法,包括如何使用梯度,例如通过随机梯度下降。反向传播将增量计算概括为增量规则中的增量规则,该规则是反向传播的单层版本,然后通过自动微分进行广义化,其中反向传播是反向累积(或“反向模式”)的特例。 在机器学习中,反向传播(backprop)是一种广泛用于训练前馈神经网络以进行监督学习的算法。对于其他人工神经网络(ANN)都存在反向传播的一般化–一类算法,通常称为“反向传播”。反向传播算法的工作原理是,通过链规则计算损失函数相对于每个权重的梯度,一次计算一层,从最后一层开始向后迭代,以避免链规则中中间项的冗余计算。
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
106+阅读 · 2020年5月15日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
76+阅读 · 2020年2月3日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
26+阅读 · 2020年1月16日
【电子书】让 PM 全面理解深度学习 65页PDF免费下载
专知会员服务
16+阅读 · 2019年10月30日
一文搞懂反向传播
机器学习与推荐算法
16+阅读 · 2020年3月12日
BP神经网络
Datartisan数据工匠
5+阅读 · 2018年8月9日
递归神经网络
Datartisan数据工匠
4+阅读 · 2018年8月2日
【286页干货】一天搞懂深度学习
七月在线实验室
9+阅读 · 2018年1月30日
干货|深度神经网络(DNN)反向传播算法(BP)
全球人工智能
7+阅读 · 2018年1月12日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
[深度学习] 我理解的循环神经网络RNN
机器学习和数学
16+阅读 · 2017年12月2日
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
Single-frame Regularization for Temporally Stable CNNs
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
7+阅读 · 2018年6月19日
Arxiv
3+阅读 · 2018年1月10日
VIP会员
相关VIP内容
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
106+阅读 · 2020年5月15日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
29+阅读 · 2020年4月15日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
Python数据分析:过去、现在和未来,52页ppt
专知会员服务
99+阅读 · 2020年3月9日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
76+阅读 · 2020年2月3日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
26+阅读 · 2020年1月16日
【电子书】让 PM 全面理解深度学习 65页PDF免费下载
专知会员服务
16+阅读 · 2019年10月30日
相关资讯
一文搞懂反向传播
机器学习与推荐算法
16+阅读 · 2020年3月12日
BP神经网络
Datartisan数据工匠
5+阅读 · 2018年8月9日
递归神经网络
Datartisan数据工匠
4+阅读 · 2018年8月2日
【286页干货】一天搞懂深度学习
七月在线实验室
9+阅读 · 2018年1月30日
干货|深度神经网络(DNN)反向传播算法(BP)
全球人工智能
7+阅读 · 2018年1月12日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
[深度学习] 我理解的循环神经网络RNN
机器学习和数学
16+阅读 · 2017年12月2日
神经网络bp算法推导
统计学习与视觉计算组
11+阅读 · 2017年11月17日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
Top
微信扫码咨询专知VIP会员