本文是由Terence Parr 和Jeremy Howard撰写的《深度学习的矩阵运算》论文。我们知道,深度学习是基于线性代数和微积分的,反向传播也离不开求导和矩阵运算,因此了解深度学习内部的数学原理也至关重要。

1.介绍

2.向量演算和偏导简介

3.矩阵演算

  • 雅可比定律

  • 多元微分

  • 向量

  • 链式法则

4.损失函数求导

5.矩阵演算参考

6.符号

7.资源链接

本文从简单函数求导到多元函数求偏导,再到矩阵的微积分运算,逐层深入,引导我们探索深度学习背后的学习规则与数学基础。本文试图解释理解深度神经网络的训练所需要的所有矩阵演算,本文适用于对神经网络基础有所了解的人,不过即使没有数学基础的同学也不要紧,作者提供了相关数学知识链接。在文末作者提供的参考部分,总结了这里讨论的所有关键矩阵演算规则和术语。

成为VIP会员查看完整内容
0
118

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】IanGoodfellow、YoshuaBengio、AaronCourville的《深度学习》花书被奉为AI圣经。但是要掌握这本书却并非易事。MingchaoZhu同学基于数学推导和产生原理重新描述了书中的概念,并用Python (numpy 库为主) 复现了书本内容,在Github上开放,欢迎大家查看学习。

Deep Learning

深度学习》是深度学习领域唯一的综合性图书,全称也叫做深度学习 AI圣经(Deep Learning),由三位全球知名专家IanGoodfellow、YoshuaBengio、AaronCourville编著,全书囊括了数学及相关概念的背景知识,包括线性代数、概率论、信息论、数值优化以及机器学习中的相关内容。同时,它还介绍了工业界中实践者用到的深度学习技术,包括深度前馈网络、正则化、优化算法、卷积网络、序列建模和实践方法等,并且调研了诸如自然语言处理、语音识别、计算机视觉、在线推荐系统、生物信息学以及视频游戏方面的应用。最后,深度学习全书还提供了一些研究方向,涵盖的理论主题包括线性因子模型、自编码器、表示学习、结构化概率模型、蒙特卡罗方法、配分函数、近似推断以及深度生成模型,适用于相关专业的大学生或研究生使用。

可以下载《深度学习》的中文版pdf和英文版pdf直接阅读。


《深度学习》可以说是深度学习与人工智能的入门宝典,许多算法爱好者、机器学习培训班、互联网企业的面试,很多都参考这本书。但本书晦涩,加上官方没有提供代码实现,因此某些地方较难理解。本站基于数学推导和产生原理重新描述了书中的概念,并用Python (numpy 库为主) 复现了书本内容(推导过程和代码实现均见pdf文件,重要部分的实现代码也放入code文件夹中)。

然而我水平有限,但我真诚地希望这项工作可以帮助到更多人学习深度学习算法。我需要大家的建议和帮助。如果你在阅读中遇到有误或解释不清的地方,希望可以汇总你的建议,提issue (最好不要一个一个地提)。如果你也想加入这项工作书写中或有其他问题,可以联系我的邮箱:deityrayleigh@gmail.com。

写的过程中参考了较多网上优秀的工作,所有参考资源保存在了reference.txt文件中。

| 中文章节 | 英文章节 | 下载
(含推导与代码实现) | | ------------ | ------------ | ------------ | | 第一章 前言 | 1 Introduction | | | 第二章 线性代数 | 2 Linear Algebra | pdf | | 第三章 概率与信息论 | 3 Probability and Information Theory | pdf | | 第四章 数值计算 | 4 Numerical Computation | pdf | | 第五章 机器学习基础 | 5 Machine Learning Basics | pdf | | 第六章 深度前馈网络 | 6 Deep Feedforward Networks | pdf | | 第七章 深度学习中的正则化 | 7 Regularization for Deep Learning | pdf | | 第八章 深度模型中的优化 | 8 Optimization for Training Deep Models | pdf | | 第九章 卷积网络 | 9 Convolutional Networks | pdf | | 第十章 序列建模:循环和递归网络 | 10 Sequence Modeling: Recurrent and Recursive Nets | | | 第十一章 实践方法论 | 11 Practical Methodology | | | 第十二章 应用 | 12 Applications | | | 第十三章 线性因子模型 | 13 Linear Factor Models | | | 第十四章 自编码器 | 14 Autoencoders | | | 第十五章 表示学习 | 15 Representation Learning | | | 第十六章 深度学习中的结构化概率模型 | 16 Structured Probabilistic Models for Deep Learning | | | 第十七章 蒙特卡罗方法 | 17 Monte Carlo Methods | | | 第十八章 直面配分函数 | 18 Confronting the Partition Function | | | 第十九章 近似推断 | 19 Approximate Inference | | | 第二十章 深度生成模型 | 20 Deep Generative Models | |

尚未上传的章节会在后续陆续上传。

成为VIP会员查看完整内容
0
192
小贴士
相关资讯
【资源】机器学习数学全书,1900页PDF下载
全球人工智能
64+阅读 · 2019年10月17日
入门 | 一文介绍机器学习中基本的数学符号
机器之心
17+阅读 · 2018年4月9日
【干货】理解深度学习中的矩阵运算
机器学习研究会
8+阅读 · 2018年2月12日
机器之心最干的文章:机器学习中的矩阵、向量求导
深度学习世界
8+阅读 · 2018年2月7日
入门 | 一文概览深度学习中的激活函数
机器之心
4+阅读 · 2017年11月2日
图解高等数学|线性代数
遇见数学
14+阅读 · 2017年10月18日
【基础数学】- 01
遇见数学
7+阅读 · 2017年7月25日
相关论文
Mining Disinformation and Fake News: Concepts, Methods, and Recent Advancements
Kai Shu,Suhang Wang,Dongwon Lee,Huan Liu
7+阅读 · 2020年1月2日
Simon S. Du,Kangcheng Hou,Barnabás Póczos,Ruslan Salakhutdinov,Ruosong Wang,Keyulu Xu
7+阅读 · 2019年11月4日
Universal Transformers
Mostafa Dehghani,Stephan Gouws,Oriol Vinyals,Jakob Uszkoreit,Łukasz Kaiser
3+阅读 · 2019年3月5日
Towards Understanding Regularization in Batch Normalization
Ping Luo,Xinjiang Wang,Wenqi Shao,Zhanglin Peng
4+阅读 · 2018年9月27日
Dinghan Shen,Martin Renqiang Min,Yitong Li,Lawrence Carin
5+阅读 · 2018年8月30日
Andrzej Stanisław Kucik,Konstantin Korovin
3+阅读 · 2018年7月26日
The Matrix Calculus You Need For Deep Learning
Terence Parr,Jeremy Howard
6+阅读 · 2018年7月2日
Po-Sen Huang,Chong Wang,Sitao Huang,Dengyong Zhou,Li Deng
3+阅读 · 2018年4月18日
Quanshi Zhang,Ying Nian Wu,Song-Chun Zhu
14+阅读 · 2018年2月14日
Jonas Gehring,Michael Auli,David Grangier,Denis Yarats,Yann N. Dauphin
3+阅读 · 2017年7月25日
Top