33页深度学习矩阵运算基础教程(附全文下载)

2019 年 1 月 1 日 专知

【导读】推荐一个Terence Parr和Jeremy Howard撰写的深度学习的矩阵运算基础教程我们知道,深度学习是基于线性代数和微积分的,反向传播也离不开求导和矩阵运算。因此了解深度学习内部的数学原理也至关重要,本文从简单函数求导,到多元函数求偏导,再到矩阵的微积分运算,逐层深入,引导我们探索深度学习背后的学习规则和数学基础。


还有网页版教程:

https://explained.ai/matrix-calculus/index.html


其他更多详情,下载全文查看:

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知

  • 后台回复“MCDL” 就可以获取度学习的矩阵运算基础教程的下载链接~ 

  • 专知2019年1月将开设一门《深度学习:算法到实战》讲述相关ML2018论文,欢迎关注报名!

专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授!


深度学习是一个令人兴奋的领域,具有巨大的现实世界影响力。 本文是Terence ParrJeremy Howard撰写的基于'深度学习的矩阵运算'的笔记集合。


深度学习是基于线性代数的。它使用许多层的神经网络来解决复杂的问题。模型输入,多层神经元权重,激活函数等都可以定义为向量。操作/转换很自然地需要使用神经网络进行训练,同时应用于所有输入。矢量/矩阵表示和可用于它们的线性代数运算,非常适合神经网络的流水线的数据流模型。当输入、权重和函数被视为向量,值的流动可被视为矩阵上的运算时,数学形式变得非常简单


深度学习也是基于差异化的!在训练阶段计算变化率对于优化损失函数至关重要。从任意一组网络模型权重w开始,目标是得到一个最优权重集合,以使给定的损失函数最小。几乎所有的神经网络都使用反向传播方法来找到这样一组权重。这个过程涉及权重值的变化如何影响输出。基于此,我们决定按比例增加或减少权重值。测量输出如何随着权重的变化而变化,与计算输出w.r.t权重w的(部分)导数相同。对于所有的训练样例,对于所有层中的所有权重,重复该过程。


矩阵运算利用数学的两个基本分支 - 线性代数和微积分。绝大多数人将线性代数和微积分分开学。这两个学科在各自的领域本身就都很重要。没有多少本科课程着重于矩阵运算。人们通常依靠直觉来弥补理解上的空白,同时还要考虑反向传播等概念。大多数机器学习算法中的反向传播步骤都是基于计算向量和矩阵中的导数来更新值。大多数机器学习框架本身做了大量的工作,我们永远不会看到实际导数计算的过程。然而,理解框架本身的内部工作是必要的,如果你打算成为一个合格的从业者或想要从头开发ML库,这是非常重要的。


虽然该论文面向DL从业者和编程人员,但它本质上是数学的。注意通过符号来巩固你的理解是非常重要的。特别注意诸如矢量的形状(长或高),标量或矢量,矩阵的尺寸等。矢量用粗体字表示。没有经验的人可能不会注意到粗体f和斜体f字体之间的差异,但这在等式中有很大的差异。向量的形状和方向也是一样的。为了理解术语,我尝试了很多方法才对这些有些理解,顺便说一下我一开始理解的很多术语很多都有问题。


庆幸的是,函数的概念(以及计算它们的衍生物的方法)是从简单到复杂的方式定义的。首先,我们从f(x)表示的简单参数函数开始。函数和参数x是标量(用斜体表示),我们可以使用传统的导数规则来计算f(x)的导数。其次,我们会看到的函数往往有很多变量与之相关联,f(x,y,z)的形式。为了计算这些函数的导数,我们使用针对特定参数计算的偏导数。处理这些函数要用到多变量微积分知识。


将输入变量x, y, z统一用粗体x的向量描述,我们可以将输入参数向量的标量函数表示为f(x)。该领域的运算是向量运算,其中f(x)的偏导数被表示为向量本身并且适合于各种向量操作。最后,深度学习最有用的是同时表示多个这样的函数。我们使用f(x)来表示一组f(x)形式的函数。微积分领域最常见的是矩阵微积分(matrix calculus)。


回顾一下,f(x)是标量函数(使用简单的导数规则),f(x)是向量变量x(使用向量运算规则)的标量函数,f(x)是许多向量标量值函数,每个函数依赖于输入x的向量(使用矩阵微积分规则)。本文演示了如何计算简单函数的导数,以及多元函数中的偏导数(∂/∂x),矢量演算中的梯度∇f函数和和矩阵演算中的雅可比矩阵J。差不多可以说,f(x)函数是矢量形式f的偏导数的集合。f(x)的雅可比矩阵每行基本上是单独的f(x)


在计算偏导数的过程中,本文做了一些假设。要记住计算输出函数的偏导数(y = w.x +b)和损失函数是很重要的。第一个假设是向量x的基数等于f中的标量函数的个数。这提供了一个方形雅可比矩阵。如果你想知道为什么他们需要相等,考虑这样一个情况,每个神经元xi的输入都与权重wi相关(这里的标量函数类似于xi*wi),所以我们拥有和x一样多的w


另一个重要的假设是关于元素对角线性质。基本上,该属性表明f(x)中的第i个标量函数是(仅)矢量x中第项的函数。想象常见的神经元模式你发现,这样做更有意义。输入xi的贡献与单个参数wi成比例。假设元素对角线性质使雅可比行列式(由第一个假设制成的方形)变成对角矩阵,所有非对角线项都为零。


论文的接下来的几节将解释计算更复杂函数的导数的过程。函数可以从简单到复杂有几种方式。首先,考虑通过在两个向量(当然具有相同大小)上应用基于元素的二元运算符得到的函数。这些函数的形式为f(x,y) = x + ymax(x, y)。请注意,在这种情况下,(x, y)是向量。接下来,有一些标量扩展函数是通过将矢量乘法/加入标量。该操作涉及将标量扩展到与矢量相同的维度,然后执行元素的乘法和加法操作。例如,y = x + b 被扩展到向量,并且被元素地添加到x


第三,考虑将向量中的值转化为单个值的函数。最常见的例子是计算神经网络的损失,通常是形式sum(f(x))。这里y是通过将向量 f(x)的元素相加得到的标量值。


本文计算了这三种情况下的衍生方法。有些函数可能很复杂,需要使用导数的链式规则。本文描述了简单标量函数的链式规则,并逐渐将其扩展到所有向量的链式规则。


参考链接:

https://towardsdatascience.com/notes-on-matrix-calculus-for-deep-learning-b9899effa7cf

https://arxiv.org/abs/1802.01528

专 · 知


   专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授!

请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
26

相关内容

线性代数(Linear Algebra)是数学的一个分支,它的研究对象是向量,向量空间(或称线性空间),线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题;因而,线性代数被广泛地应用于抽象代数和泛函分析中;通过解析几何,线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型,使得线性代数被广泛地应用于自然科学和社会科学中。 - 题图来自「维基百科」。
最新《自动微分手册》77页pdf
专知会员服务
100+阅读 · 2020年6月6日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
干货书《数据科学数学系基础》2020最新版,266页pdf
专知会员服务
319+阅读 · 2020年3月23日
【干货书】机器学习Python实战教程,366页pdf
专知会员服务
338+阅读 · 2020年3月17日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
【综述】金融领域中的深度学习,附52页论文下载
专知会员服务
163+阅读 · 2020年2月27日
深度学习线性代数简明教程
论智
11+阅读 · 2018年5月30日
入门 | 一文介绍机器学习中基本的数学符号
机器之心
28+阅读 · 2018年4月9日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
干货 | 受限玻尔兹曼机基础教程
机器学习算法与Python学习
7+阅读 · 2018年3月27日
【干货】理解深度学习中的矩阵运算
专知
12+阅读 · 2018年2月12日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
入门 | 一文概览深度学习中的激活函数
机器之心
7+阅读 · 2017年11月2日
A Modern Introduction to Online Learning
Arxiv
20+阅读 · 2019年12月31日
Arxiv
22+阅读 · 2018年8月30日
The Matrix Calculus You Need For Deep Learning
Arxiv
12+阅读 · 2018年7月2日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
最新《自动微分手册》77页pdf
专知会员服务
100+阅读 · 2020年6月6日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
172+阅读 · 2020年5月6日
干货书《数据科学数学系基础》2020最新版,266页pdf
专知会员服务
319+阅读 · 2020年3月23日
【干货书】机器学习Python实战教程,366页pdf
专知会员服务
338+阅读 · 2020年3月17日
机器学习速查手册,135页pdf
专知会员服务
338+阅读 · 2020年3月15日
【综述】金融领域中的深度学习,附52页论文下载
专知会员服务
163+阅读 · 2020年2月27日
相关资讯
深度学习线性代数简明教程
论智
11+阅读 · 2018年5月30日
入门 | 一文介绍机器学习中基本的数学符号
机器之心
28+阅读 · 2018年4月9日
【干货】​深度学习中的线性代数
专知
21+阅读 · 2018年3月30日
干货 | 受限玻尔兹曼机基础教程
机器学习算法与Python学习
7+阅读 · 2018年3月27日
【干货】理解深度学习中的矩阵运算
专知
12+阅读 · 2018年2月12日
理解神经网络的激活函数
论智
7+阅读 · 2018年1月8日
入门 | 一文概览深度学习中的激活函数
机器之心
7+阅读 · 2017年11月2日
相关论文
A Modern Introduction to Online Learning
Arxiv
20+阅读 · 2019年12月31日
Arxiv
22+阅读 · 2018年8月30日
The Matrix Calculus You Need For Deep Learning
Arxiv
12+阅读 · 2018年7月2日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员