如何简单形象又有趣地讲解神经网络是什么?

导语： 干货来了，Udacity Machine Learning 课程导师 Walker 亲自出马，教你简单形象有趣地掌握神经网络！

神经网络是什么？神经网络就是一系列简单的节点，在简单的组合下，表达一个复杂的函数。下面我们来一个个解释。

线性节点 

节点是一个简单的函数模型，有输入，有输出。

1、最简单的线性节点: x+y

我能想到的最简单的线性节点当然就是 x + y 。 

2、参数化线形节点：ax+by

x + y 是一个特殊的线形组合，我们可以一般化所有x, y的线性组合, 即 ax + by。这  a, b 就是这个节点的参数。不同的参数可以让节点表示不同的函数，但节点的结构是一样的。

3、多输入线性节点: a1x1 + a2x2 + a3x3+...+anxn

我们进一步把 2 个输入一般化成任意多个输入。这里 a1,a2,a3,...an 是这个节点的参数。同样，不同的参数可以让节点表示不同的函数，但节点的结构是一样的。注意 n 并非是这个节点的参数，输入个数不同的节点结构是不一样的。 

4、 线性节点的向量表达：aTx

上面的式子太过冗长，我们用向量 x 表示输入向量 (x1, x2, . . . , xn)， 用向量 a 表示参数向量  (a1,a2,...,an)，不难证明aTx=a1x1 +a2x2 +a3x3+...+anxn。这里向量 a 就是这个节点的参数，这个参数的维度与输入向量的维度相同。 

5、带常量的线性节点：aTx+b

有时, 我们希望即使输入全部为 0 的时候，线形节点依然可以有输出，因此引入一个新的参数 b 作为偏差项，以此来增加模型的表达性。有时，为了简化，我们会把表达式写作 aT x。此时，x = (x1,x2,...,xn,1),a = (a1,a2,...,an,b) 

6、带激活函数的线性节点: 1(aT x + b > 0)

对于二项分类问题，函数的输出只是真或假，即 0 或 1。函数 1 : R → {1, 0} 将真命题映射到 1， 将假命题映射到 0。 

线性节点实例

1、线性节点表达 x ∨ y (或函数) ，或函数的真值表如下: 

定义节点 1(x + y − 0.5 > 0), 不难验证，它与 x ∨ y 是等价的。 

2、线性节点表达 x ∧ y (与函数) ，与函数的真值表如下: 

定义节点 1(x + y − 1.5 > 0), 不难验证，它与 x ∧ y 是等价的。 

线性节点的表达力

单个线性节点可以表达所有线性函数(函数值域为实数集)、以及所有线性可分的分类 (函数值域为{0, 1})。概念定义和命题的证明我们这里不再阐述。虽然单个线性节点已经很强 ，但依然有图的局限性。对于线性不可分的函数，它无能为力， 例如异或函数 x ⊕ y 

线性节点的组合

1、多个线性节点同层组合：WTx

上述的线性节点输入是多维的，但输出只是一维，即一个实数。如果我们想要多维的输出，那么就可以并列放置多个节点。设 a1 ,a2 ,...,am 分别是 m 个节点的参数，那么输出则分别为 a1Tx,a2Tx,...,amT x. 最终的输出结果为  

其中 W = [a1,a2,...,am] 是一个 n 行m 列的参数矩阵。 

2、多层线性节点:

多层线性节点中，某一层带激活函数的线性节点，输出作为下一层的输入 。通常中间层(或者隐藏层，图中的蓝色节点)会带有一个激活函数，来增加模型的表达力 。(思考: 如果隐藏层没有激活函数，为什么两层线性节点和一层等价?) 

多层线性节点实例

1. 多层表达异或函数 x ⊕ y，异或函数的真值表为: 

这是一个不可线性分隔的函数，不可以一个线性节点表达。但我们可以使用多层的线性节点来完成这个任务。

多层线性节点的表达力

可以证明，多层神经元可以表达所有连续函数。证明比较复杂，有兴趣的粉丝可以去看下: A visual proof that neural nets can compute any function

总结

其实在本篇文章中，我们还有很多常见的节点没有讲到， 如 ReLu, sigmoid, dropout 等。神经网络不仅有正向计算，还有反向传导，这些节点的出现和反向传导息息相关。有机会的话，Walker老师会再来写一篇文章分享。

如果你也想加入人工智能浪潮，在职场中挖掘新的机会、成为顶尖技术人才，让来自硅谷的 Udacity 帮助你零基础成为深度学习高手！

硅谷前沿科技教育平台 Udacity 联手无人车之父 Sebastian Thrun、GANs 之父 Ian Goodfellow 和谷歌 Deepmind 科学家 Andrew Trask 等顶级专家，推出「深度学习基石纳米学位项目」！这门课将用充满活力的硅谷方式，通过充满互动的视频、独家实战项目和个性化学习辅导，带你由浅入深地探索这个领域。

毕业时，你将做好准备，在人工智能、无人驾驶等应用方向上大展拳脚。你还将获得 Udacity 的就业推荐服务，获得更多加入IBM、腾讯、滴滴出行等领先科技企业的机会！

Udacity 顶尖合作名企

在学习过程中，你不仅可以获得硅谷顶级讲师的指导，还将挑战超酷实战项目，并享受 Udacity 导师指导、逐行代码审核、同步学习小组等学习服务。每周投入10个小时，你就可以 零基础 成为 硅谷认证 的深度学习高手！

 如何加入这么酷的课程？ 

扫描下方二维码，了解 深度学习基石纳米学位 详情：

课程将于 1月24日 正式开放报名！本期限定 350 席，长按扫描上方二维码，加入开课通知群。

＊ 免费获得独家《深度学习终极职业指南》；

＊ 体验硅谷式仿真课堂；

＊ 同行交流和课程答疑。

点击 [阅读原文] ，给自己一个成为硅谷认证深度学习高手的机会！