激活函数初学者指南

2018 年 5 月 15 日 论智 Kailash Ahirwar
作者: Kailash Ahirwar
编译:weakish

编者按:机器学习初创公司Mate Labs联合创始人Kailash Ahirwar简要介绍了13种神经网络激活函数。

激活函数将非线性引入网络,因此激活函数自身也被称为非线性。神经网络是普适的函数逼近器,而深度神经网络基于反向传播训练,因此要求可微激活函数。反向传播在这一函数上应用梯度下降,以更新网络的权重。理解激活函数非常重要,因为它对深度神经网络的质量起着关键的作用。本文将罗列和描述不同的激活函数。

线性激活函数

恒等函数(Identity)或线性激活(Linear activation)函数是最简单的激活函数。输出和输入成比例。线性激活函数的问题在于,它的导数是常数,梯度也是常数,梯度下降无法工作。

值域:(-∞, +∞)

例子:f(2) = 2或f(-4) = -4

阶跃函数

阶跃函数(Heaviside step function)通常只在单层感知器上有用,单层感知器是神经网络的早期形式,可用于分类线性可分的数据。这些函数可用于二元分类任务。其输出为A1(若输入之和高于特定阈值)或A0(若输入之和低于特定阈值)。感知器使用的值为A1 = 1、A0 = 0.

值域:0或1

例子:f(2) = 1、f(-4) = 0、f(0) = 0、f(1) = 1

图片来源:维基百科

sigmoid函数

sigmoid函数,也称逻辑激活函数(Logistic activation function)最常用于二元分类问题。它有梯度消失问题。在一定epoch数目之后,网络拒绝学习,或非常缓慢地学习,因为输入(X)导致输出(Y)中非常小的改动。现在,sigmoid函数主要用于分类问题。这一函数更容易碰到后续层的饱和问题,导致训练变得困难。计算sigmoid函数的导数非常简单。

就神经网络的反向传播过程而言,每层(至少)挤入四分之一的误差。因此,网络越深,越多关于数据的知识将“丢失”。某些输出层的“较大”误差可能不会影响相对较浅的层中的神经元的突触权重(“较浅”意味着接近输入层)。

sigmoid函数定义

sigmoid函数的导数

值域:(0, 1)

例子:f(4) = 0.982、f(-3) = 0.0474、f(-5) = 0.0067

图片来源:维基百科


图片来源:deep learning nano foundation

tanh函数

tanh函数是拉伸过的sigmoid函数,以零为中心,因此导数更陡峭。tanh比sigmoid激活函数收敛得更快。

值域:(-1, 1)

例子:tanh(2) = 0.9640、tanh(-0.567) = -0.5131、tanh(0) = 0

图片来源:维基百科

ReLU函数

ReLU(Rectified Linear Unit,修正线性单元)训练速度比tanh快6倍。当输入值小于零时,输出值为零。当输入值大于等于零时,输出值等于输入值。当输入值为正数时,导数为1,因此不会出现sigmoid函数反向传播时的挤压效应。

值域:[0, x)

例子:f(-5) = 0、f(0) = 0、f(5) = 5

图片来源:维基百科

不幸的是,ReLU在训练时可能很脆弱,可能“死亡”。例如,通过ReLU神经元的较大梯度可能导致权重更新过头,导致神经元再也不会因为任何数据点激活。如果这一情况发生了,经过这一单元的梯度从此以后将永远为零。也就是说,ReLU单元可能在训练中不可逆地死亡,因为它们被从数据流形上踢出去了。例如,你可能发现,如果学习率设置过高,40%的网络可能“死亡”(即神经元在整个训练数据集上永远不会激活)。设置一个合适的学习率可以缓解这一问题。

-- Andrej Karpathy CS231n 课程

Leaky ReLU函数

Leaky ReLU让单元未激活时能有一个很小的非零梯度。这里,很小的非零梯度是0.01.

值域:(-∞, +∞)

PReLU函数

PReLU(Parametric Rectified Linear Unit)函数类似Leaky ReLU,只不过将系数(很小的非零梯度)作为激活函数的参数,该参数和网络的其他参数一样,在训练过程中学习。

值域:(-∞, +∞)

RReLU函数

RReLU也类似Leaky ReLU,只不过系数(较小的非零梯度)在训练中取一定范围内的随机值,在测试时固定。

值域:(-∞, +∞)

ELU函数

ELU(Exponential Linear Unit,指数线性单元)尝试加快学习速度。基于ELU,有可能得到比ReLU更高的分类精确度。这里α是一个超参数(限制:α ≥ 0)。

值域:(-α, +∞)

SELU函数

SELU(Scaled Exponential Linear Unit,拉伸指数线性单元)是ELU经过拉伸的版本。

图片来源:Elior Cohen


SReLU函数


SReLU(S-shaped Rectified Linear Activation Unit,S型修正线性激活单元)由三个分段线性函数组成。系数作为参数,将在网络训练中学习。

值域:(-∞, +∞)

不同参数的SReLU图像;图片来源:arXiv:1512.07030

APL函数

APL(Adaptive Piecewise Linear,自适应分段线性)函数

图片来源:arXiv:1512.07030

值域:(-∞, +∞)

SoftPlus函数

SoftPlus函数的导数为逻辑(logistic)函数。大体上,ReLU和SoftPlus很相似,只不过SoftPlus在接近零处平滑可微。另外,计算ReLU及其导数要比SoftPlus容易很多。

值域:(0, ∞)

图片来源:维基百科

bent identity函数

bent identity函数,顾名思义,将恒等函数弯曲一下。

值域:(-∞, +∞)

图片来源:维基百科

softmax函数

softmax函数将原始值转换为后验分布,可用于衡量确定性。类似sigmoid,softmax将每个单元的输出值挤压到0和1之间。不过,softmax同时确保输出的总和等于1.

图片来源:dataaspirant.com

softmax函数的输出等价于类别概率分布,它告诉你任何分类为真的概率。

结语

选择激活函数时,优先选择ReLU及其变体,而不是sigmoid或tanh。同时ReLU及其变体训练起来更快。如果ReLU导致神经元死亡,使用Leaky ReLU或者ReLU的其他变体。sigmoid和tanh受到消失梯度问题的困扰,不应该在隐藏层中使用。隐藏层使用ReLU及其变体较好。使用容易求导和训练的激活函数。

参考链接

  1. 激活函数的维基百科页面

  2. Deep Learning Nano Foundation的ReLU和softmax页面

  3. ReLU的维基百科页面

登录查看更多
6

相关内容

在人工神经网络中,给定一个输入或一组输入,节点的激活函数定义该节点的输出。一个标准集成电路可以看作是一个由激活函数组成的数字网络,根据输入的不同,激活函数可以是开(1)或关(0)。这类似于神经网络中的线性感知器的行为。然而,只有非线性激活函数允许这样的网络只使用少量的节点来计算重要问题,并且这样的激活函数被称为非线性。
还在修改博士论文?这份《博士论文写作技巧》为你指南
Sklearn 与 TensorFlow 机器学习实用指南,385页pdf
专知会员服务
128+阅读 · 2020年3月15日
【强化学习】深度强化学习初学者指南
专知会员服务
178+阅读 · 2019年12月14日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
70+阅读 · 2019年10月19日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
激活函数还是有一点意思的!
计算机视觉战队
12+阅读 · 2019年6月28日
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
博客 | 回归类算法最全综述及逻辑回归重点讲解
AI研习社
13+阅读 · 2018年11月29日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
最近流行的激活函数
计算机视觉战队
6+阅读 · 2017年11月27日
入门 | 一文概览深度学习中的激活函数
深度学习世界
4+阅读 · 2017年11月3日
干货|浅谈神经网络中激活函数的设计
机器学习研究会
5+阅读 · 2017年10月28日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
Arxiv
44+阅读 · 2019年12月20日
Interpretable Adversarial Training for Text
Arxiv
5+阅读 · 2019年5月30日
Arxiv
7+阅读 · 2019年4月8日
Arxiv
6+阅读 · 2018年7月12日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
16+阅读 · 2018年2月7日
VIP会员
相关VIP内容
还在修改博士论文?这份《博士论文写作技巧》为你指南
Sklearn 与 TensorFlow 机器学习实用指南,385页pdf
专知会员服务
128+阅读 · 2020年3月15日
【强化学习】深度强化学习初学者指南
专知会员服务
178+阅读 · 2019年12月14日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
70+阅读 · 2019年10月19日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
激活函数还是有一点意思的!
计算机视觉战队
12+阅读 · 2019年6月28日
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
博客 | 回归类算法最全综述及逻辑回归重点讲解
AI研习社
13+阅读 · 2018年11月29日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
最近流行的激活函数
计算机视觉战队
6+阅读 · 2017年11月27日
入门 | 一文概览深度学习中的激活函数
深度学习世界
4+阅读 · 2017年11月3日
干货|浅谈神经网络中激活函数的设计
机器学习研究会
5+阅读 · 2017年10月28日
干货 | 深度学习之损失函数与激活函数的选择
机器学习算法与Python学习
15+阅读 · 2017年9月18日
相关论文
Arxiv
44+阅读 · 2019年12月20日
Interpretable Adversarial Training for Text
Arxiv
5+阅读 · 2019年5月30日
Arxiv
7+阅读 · 2019年4月8日
Arxiv
6+阅读 · 2018年7月12日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月17日
Arxiv
16+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员