【重温经典】吴恩达机器学习课程学习笔记十二:神经网络向量化

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。


【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六:特征处理与多项式拟合

【重温经典】吴恩达机器学习课程学习笔记七:Logistic回归

【重温经典】吴恩达机器学习课程学习笔记八:Logistic回归续

【重温经典】吴恩达机器学习课程学习笔记九:过拟合

【重温经典】吴恩达机器学习课程学习笔记十:正则化

【重温经典】吴恩达机器学习课程学习笔记十一:神经网络


吴恩达机器学习课程系列视频链接

http://study.163.com/course/courseMain.htm?courseId=1004570029


春节充电系列:李宏毅2017机器学习课程学习全部笔记


吴恩达课程学习笔记十二:神经网络向量化


1、 神经网络向量化的实现方法




上一次的总结中我们介绍了如下图左半部分所示的隐藏层激活值的数学定义。现在的想法是要化简这一表达。将g()函数的操作对象表示为z;即同理Z的上标2表示与第二层有关(隐藏层)。我们知道表示的是隐藏层的激活值这里我们用表示第一层的“激活值”(即输入x),现在我们有了矩阵,向量,以及向量我们得到他们之间的关系如下图右下部分。(这里我们在第一、第二层都加了bias unit

如下图所示,我们遮住输入层,仅仅考虑第二层与输出层,我们可以将这一部分看做是logistic回归。但是这一部分所用到的数据是隐藏层的数据,而不是输入层的样本数据。(即自己训练用于后续logistic回归的数据)通过隐藏层对输入数据的处理,可以得到更加复杂的特征。(选取不同的可以得到不同的也会提取出特别以及有意思的信息


2、 例子与理解




假设我们现在有一个任务,需要利用神经元实现对输入数据进行取“与”操作,对于如下图所示,增加x0=1,并设置权重参数为-30,20,10分别对应通过右下方的真值表我们可知这样的权重设置确实可以实现对输入数据取“与”的操作。

如下图所示,通过设置权重参数为-10,20,20可以实现对输入数据实现取“或”的操作,即通过设置不同的参数,同一结构的神经元可以实现不同的功能。

如下图所示,现在已经知道了三种可以分别得出“与”、“或”、“非与”结果的神经元,对它们进行利用,可以实现对输入数据“异或非”的功能。总结一下过程是:对输入数据(含x0=1)进行取“与”和“非与”对得到结果做为第二层(隐藏层),在对第二层的数据(同样添加了x0=1)进行取“或”,最终输出层实现了对输入层的异或非操作。


即把输入放在输入层,在中间放一个隐藏层用来计算关于输入的较为复杂的功能,最后输出层计算更为复杂的非线性函数得出想要的结果。这也是为什么神经网络可以计算这种较为复杂的函数。

 

3、 多元分类



 

前面介绍过对于一张图片描述的是否是一辆汽车的问题进行过描述,现在的问题是,现在有四类的图片,需要根据输入来确定属于哪一类。想法很简单:即现在输出层现在变为四个单元。每一个单元用来确定输入数据是否属于其中的某一类。

在之前的总结中,我们提到用y=1,2,3,4来表示四种不同类别的输出,这里我们用四个列向量来代表四个类别。

在下一系列的总结中,我们将会学习如何构建训练集,以及如何让数据集自动学习这些参数(神经网络的反向传播算法),期待可以和你一起学习。


参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取

点击上面图片加入会员

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员