1900页数学基础:面向CS的线性代数、拓扑、微积分和最优化(附下载链接)

2019 年 7 月 29 日 CVer
1900页数学基础:面向CS的线性代数、拓扑、微积分和最优化(附下载链接)

点击上方“CVer”,选择加"星标"或“置顶”

重磅干货,第一时间送达

本文转载自:机器之心

学习计算机科学总共需要多少数学基础? 大概 1900 页吧。 宾夕法尼亚大学计算机和信息科学系教授 Jean Gallier 的开源书籍《Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Engineering》用一本书的容量解决了所有问题。


这本书涵盖了计算机科学所需的线性代数、微分和最优化理论等问题,可谓详尽。


链接:http://www.cis.upenn.edu/~jean/math-basics.pdf


为什么要读这本书?


近年来,计算机科学、机器人学、机器学习和数据科学已经成为技术发展的重要推力。任何查看这些领域相关论文的人都会受到一些奇怪术语的困扰,如核 PCA、岭回归、套索回归、支持向量机(SVM)、拉格朗日乘数、KKT 条件等。这些奇怪的术语背后涉及的是大量有关最优化理论的「经典」线性代数知识。那么问题来了:要想理解并用好机器学习、计算机视觉等领域的工具,你就需要打好线性代数和最优化理论的知识基础。而且,你还需要学一些概率和统计方面的东西。


很多有关机器学习的书籍都在试图解决上述问题。如果你不了解拉格朗日对偶框架,那又从何理解领回归问题的对偶变量呢?同样地,如果你没有深刻理解拉格朗日框架,又怎么可能探讨 SVM 的对偶公式呢?


对这些问题避而不谈是一种省事的解决方式。如果你只是上述方法技巧的使用者,「食谱」类方法或许就足够了。但是,这种方法并不适用于那些真正想要从事研究并希望做出重大贡献的人。所以,作者认为,你还必须具有扎实的线性代数、最优化理论等方面的背景知识。


这会是一个问题,因为你需要投入大量的时间和精力来学习这些领域的知识,但作者相信坚持不懈的努力总会收到丰厚的回报。


这本书讲了什么?


这本书的主要目的是介绍线性代数和最优化理论的基础知识以及这些知识在机器学习、机器人学、计算机视觉等领域的应用。


该书包含以下 10 卷:


1. 线性代数

2. 仿射几何和射影几何

3. 双线性形式的几何

4. 几何:PID、UFD、诺特环、张量、PID 上的模块、规范形

5. 拓扑和微分

6. 最优化理论基础

7. 线性优化

8. 非线性优化

9. 在机器学习中的应用

10. 附录


从大纲来看,除了基础内容外,该书还探讨了一些对于应用非常重要的知识。


对于大部分内容,该书都提供了完整的证明,一是为了使该书自成体系,二是因为只有证明出来才能对内容有深刻的理解。但作者建议在第一次阅读时跳过那些证明过程,尤其是比较长或比较复杂的证明。


以下是本书的部分目录:



作者



本书作者 Jean Gallier 今年 70 岁,来自宾夕法尼亚大学。目前的研究方向主要为计算机图形学、计算机视觉、机器人技术等。他还曾发表过谐波分析与表征理论、线性代数和优化器的机器学习应用、关于微分几何和李氏群的说明等书籍。


电子书下载


关注CVer公众号,在公众号后台回复:Math,即可获得近1900页的PDF文件!


重磅!CVer学术交流群成立啦


扫码添加CVer助手,可申请加入CVer-目标检测交流群、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测和模型剪枝&压缩等群。一定要备注:研究方向+地点+学校/公司+昵称(如目标检测+上海+上交+卡卡)

▲长按加群


▲长按关注我们

麻烦给我一个在看

登录查看更多
2

相关内容

最优化是应用数学的一个分支,主要指在一定条件限制下,选取某种研究方案使目标达到最优的一种方法。最优化问题在当今的军事、工程、管理等领域有着极其广泛的应用。

本书概述了现代数据科学重要的数学和数值基础。特别是,它涵盖了信号和图像处理(傅立叶、小波及其在去噪和压缩方面的应用)、成像科学(反问题、稀疏性、压缩感知)和机器学习(线性回归、逻辑分类、深度学习)的基础知识。重点是对方法学工具(特别是线性算子、非线性逼近、凸优化、最优传输)的数学上合理的阐述,以及如何将它们映射到高效的计算算法。

https://mathematical-tours.github.io/book/

它应该作为数据科学的数字导览的数学伴侣,它展示了Matlab/Python/Julia/R对这里所涵盖的所有概念的详细实现。

成为VIP会员查看完整内容
0
233

本文是由Terence Parr 和Jeremy Howard撰写的《深度学习的矩阵运算》论文。我们知道,深度学习是基于线性代数和微积分的,反向传播也离不开求导和矩阵运算,因此了解深度学习内部的数学原理也至关重要。

1.介绍

2.向量演算和偏导简介

3.矩阵演算

  • 雅可比定律

  • 多元微分

  • 向量

  • 链式法则

4.损失函数求导

5.矩阵演算参考

6.符号

7.资源链接

本文从简单函数求导到多元函数求偏导,再到矩阵的微积分运算,逐层深入,引导我们探索深度学习背后的学习规则与数学基础。本文试图解释理解深度神经网络的训练所需要的所有矩阵演算,本文适用于对神经网络基础有所了解的人,不过即使没有数学基础的同学也不要紧,作者提供了相关数学知识链接。在文末作者提供的参考部分,总结了这里讨论的所有关键矩阵演算规则和术语。

成为VIP会员查看完整内容
0
155

简介: 宾夕法尼亚大学计算逻辑研究院Jean Gallier等人近期在之前发布的书的基础上进行修改,于2019年10月24日发布了一本长达753页的书籍,详细地列出了对机器学习等领域有重要意义的数学理论基础知识。近年来,计算机视觉、机器人、机器学习和数据科学一直是推动技术重大进步的一些关键领域。任何看过上述领域的论文或书籍的人都会被一个奇怪的术语所困扰,这些术语涉及核主成分分析、岭回归、lasso回归、支持向量机(SVM)、拉格朗日乘子、KKT条件等奇怪的术语。但人们很快就会发现,行话背后总是伴随着一个新的领域,背后隐藏着许多经典的“线性代数和优化理论技术”。我们面临的主要挑战是:要从机器学习、计算机视觉等方面了解和使用工具,必须具备线性代数和优化理论的坚实背景。

本书的主要目标是介绍线性代数和优化理论的基本原理,同时考虑到机器学习、机器人和计算机视觉的应用。这项工作由两部分组成,第一个是线性代数,第二个优化理论和应用,尤其是机器学习。 第一部分涉及经典的线性代数,包括主分解和Jordan形式。除了讨论标准的一些主题外,我们还讨论了一些对应用很重要的主题。这些主题包括:

  • Haar基和相应的Haar小波
  • Hadamard矩阵
  • Affine maps
  • 规范和矩阵规范
  • 向量空间中序列和序列的收敛性。矩阵指数e_A及其基本性质
  • The group of unit quaternions, SU(2), and the representation of rotations in SO(3) by unit quaternions
  • 代数与谱图论简介
  • SVD和伪逆的应用,尤其是主成分分析
  • 特征值和特征向量的计算方法,重点是QR算法

另外有比平常更详细介绍的四个主题:

  • Duality
  • Dual norms
  • The geometry of the orthogonal groups O(n) and SO(n), and of the unitary groups U(n) and SU(n)
  • 谱理论

作者介绍: Jean Gallier是宾夕法尼亚大学的教授,拥有法国和美国双国籍,1978年取得博士后学位就从事于计算机领域工作,发表过许多研究论文和书籍,其中《Computational geometry》、《Low-dimensional topology》、《Discrete mathematics》、《Discrete mathematics》等书籍的作者就是Jean Gallier

成为VIP会员查看完整内容
面向计算机视觉、机器人和机器学习的线性代数.pdf
0
118
小贴士
相关论文
Simple Multi-Resolution Representation Learning for Human Pose Estimation
Trung Q. Tran,Giang V. Nguyen,Daeyoung Kim
5+阅读 · 2020年4月14日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
82+阅读 · 2019年12月19日
Neural Module Networks for Reasoning over Text
Nitish Gupta,Kevin Lin,Dan Roth,Sameer Singh,Matt Gardner
9+阅读 · 2019年12月10日
Domain Representation for Knowledge Graph Embedding
Cunxiang Wang,Feiliang Ren,Zhichao Lin,Chenxv Zhao,Tian Xie,Yue Zhang
10+阅读 · 2019年9月11日
HyperKG: Hyperbolic Knowledge Graph Embeddings for Knowledge Base Completion
Prodromos Kolyvakis,Alexandros Kalousis,Dimitris Kiritsis
5+阅读 · 2019年8月17日
Yang Deng,Yaliang Li,Nan Du,Wei Fan,Ying Shen,Kai Lei
4+阅读 · 2018年9月27日
Yeonwoo Jeong,Hyun Oh Song
4+阅读 · 2018年6月12日
Hanie Sedghi,Ashish Sabharwal
6+阅读 · 2018年3月28日
Changzheng Zhang,Xiang Xu,Dandan Tu
5+阅读 · 2018年2月6日
Wenhan Xiong,Thien Hoang,William Yang Wang
18+阅读 · 2018年1月8日
Top