1900 页数学基础:面向 CS 的线性代数、拓扑、微积分和最优化

2019 年 8 月 14 日 算法与数学之美
1900 页数学基础:面向 CS 的线性代数、拓扑、微积分和最优化
学习计算机科学总共需要多少数学基础?大概 1900 页吧。宾夕法尼亚大学计算机和信息科学系教授 Jean Gallier 的开源书籍《Algebra, Topology, Differential Calculus, and Optimization Theory For Computer Science and Engineering》用一本书的容量解决了所有问题。



这本书涵盖了计算机科学所需的线性代数、微分和最优化理论等问题,可谓详尽。


链接:http://www.cis.upenn.edu/~jean/math-basics.pdf




为什么要读这本书?


近年来,计算机科学、机器人学、机器学习和数据科学已经成为技术发展的重要推力。任何查看这些领域相关论文的人都会受到一些奇怪术语的困扰,如核 PCA、岭回归、套索回归、支持向量机(SVM)、拉格朗日乘数、KKT 条件等。这些奇怪的术语背后涉及的是大量有关最优化理论的「经典」线性代数知识。那么问题来了:要想理解并用好机器学习、计算机视觉等领域的工具,你就需要打好线性代数和最优化理论的知识基础。而且,你还需要学一些概率和统计方面的东西。


很多有关机器学习的书籍都在试图解决上述问题。如果你不了解拉格朗日对偶框架,那又从何理解领回归问题的对偶变量呢?同样地,如果你没有深刻理解拉格朗日框架,又怎么可能探讨 SVM 的对偶公式呢?


对这些问题避而不谈是一种省事的解决方式。如果你只是上述方法技巧的使用者,「食谱」类方法或许就足够了。但是,这种方法并不适用于那些真正想要从事研究并希望做出重大贡献的人。所以,作者认为,你还必须具有扎实的线性代数、最优化理论等方面的背景知识。


这会是一个问题,因为你需要投入大量的时间和精力来学习这些领域的知识,但作者相信坚持不懈的努力总会收到丰厚的回报。


这本书讲了什么?


这本书的主要目的是介绍线性代数和最优化理论的基础知识以及这些知识在机器学习、机器人学、计算机视觉等领域的应用。


该书包含以下 10 卷:


1. 线性代数
2. 仿射几何和射影几何
3. 双线性形式的几何
4. 几何:PID、UFD、诺特环、张量、PID 上的模块、规范形
5. 拓扑和微分
6. 最优化理论基础
7. 线性优化
8. 非线性优化
9. 在机器学习中的应用
10. 附录


从大纲来看,除了基础内容外,该书还探讨了一些对于应用非常重要的知识。


对于大部分内容,该书都提供了完整的证明,一是为了使该书自成体系,二是因为只有证明出来才能对内容有深刻的理解。但作者建议在第一次阅读时跳过那些证明过程,尤其是比较长或比较复杂的证明。


以下是本书的部分目录:



作者



本书作者 Jean Gallier 今年 70 岁,来自宾夕法尼亚大学。目前的研究方向主要为计算机图形学、计算机视觉、机器人技术等。他还曾发表过谐波分析与表征理论、线性代数和优化器的机器学习应用、关于微分几何和李氏群的说明等书籍。

————

编辑 ∑Gemini

 来源:算法爱好者


泰勒定理的奇闻轶事

丘成桐:漫谈微分几何

Leibniz 如何想出微积分?(一)

线性相关和秩的物理意义

数学史上你认为最丑陋的公式是什么?

陶哲轩谈什么是好的数学

田渊栋:数学的用处(下篇)

你绝对没想过原来数学家这么流氓,一言不合就进行暴力证明

世界上最牛的五篇博士论文

数学中有哪些巧合让人眼前一亮?

算法立功!清华毕业教授美国被抢车,警察无能为力自己用“贪心算法”找回

学术史上的奇文:怎样用数学抓狮子

台大教授的反思:最难的一课 我们却没教给学生

☞麻省理工学院(MIT)研究生学习指导—— 怎样做研究生

☞分享 数学,常识和运气 ——投资大师詹姆斯·西蒙斯2010年在MIT的讲座


算法数学之美微信公众号欢迎赐稿

稿件涉及数学、物理、算法、计算机、编程等相关领域,经采用我们将奉上稿酬。

投稿邮箱:math_alg@163.com

登录查看更多
23

相关内容

最优化理论是关于系统的最优设计、最优控制、最优管理问题的理论与 [1] 方法。最优化,就是在一定的约束条件下,使系统具有所期待的最优功能的组织过程。是从众多可能的选择中作出最优选择,使系统的目标函数在约束条件下达到最大或最小。最优化是系统方法的基本目的。优化方法有几个基本因素:系统目标;实现目标的可能方案;实行各方案的支付代价;建立系统模型;制定系统评价标准等。现代优化理论及方法是在本世纪40年代发展起来的,其理论和方法愈来愈多,如线性规划、非线性规划、动态规划、排队论、对策论、决策论、博弈论等。

简介: 宾夕法尼亚大学计算逻辑研究院Jean Gallier等人近期在之前发布的书的基础上进行修改,于2019年10月24日发布了一本长达753页的书籍,详细地列出了对机器学习等领域有重要意义的数学理论基础知识。近年来,计算机视觉、机器人、机器学习和数据科学一直是推动技术重大进步的一些关键领域。任何看过上述领域的论文或书籍的人都会被一个奇怪的术语所困扰,这些术语涉及核主成分分析、岭回归、lasso回归、支持向量机(SVM)、拉格朗日乘子、KKT条件等奇怪的术语。但人们很快就会发现,行话背后总是伴随着一个新的领域,背后隐藏着许多经典的“线性代数和优化理论技术”。我们面临的主要挑战是:要从机器学习、计算机视觉等方面了解和使用工具,必须具备线性代数和优化理论的坚实背景。

本书的主要目标是介绍线性代数和优化理论的基本原理,同时考虑到机器学习、机器人和计算机视觉的应用。这项工作由两部分组成,第一个是线性代数,第二个优化理论和应用,尤其是机器学习。 第一部分涉及经典的线性代数,包括主分解和Jordan形式。除了讨论标准的一些主题外,我们还讨论了一些对应用很重要的主题。这些主题包括:

  • Haar基和相应的Haar小波
  • Hadamard矩阵
  • Affine maps
  • 规范和矩阵规范
  • 向量空间中序列和序列的收敛性。矩阵指数e_A及其基本性质
  • The group of unit quaternions, SU(2), and the representation of rotations in SO(3) by unit quaternions
  • 代数与谱图论简介
  • SVD和伪逆的应用,尤其是主成分分析
  • 特征值和特征向量的计算方法,重点是QR算法

另外有比平常更详细介绍的四个主题:

  • Duality
  • Dual norms
  • The geometry of the orthogonal groups O(n) and SO(n), and of the unitary groups U(n) and SU(n)
  • 谱理论

作者介绍: Jean Gallier是宾夕法尼亚大学的教授,拥有法国和美国双国籍,1978年取得博士后学位就从事于计算机领域工作,发表过许多研究论文和书籍,其中《Computational geometry》、《Low-dimensional topology》、《Discrete mathematics》、《Discrete mathematics》等书籍的作者就是Jean Gallier

成为VIP会员查看完整内容
面向计算机视觉、机器人和机器学习的线性代数.pdf
0
80
小贴士
相关资讯
机器学习必备的数学基础有哪些?
人工智能头条
6+阅读 · 2019年10月18日
【资源】机器学习数学全书,1900页PDF下载
全球人工智能
58+阅读 · 2019年10月17日
那些值得推荐和收藏的线性代数学习资源
【资源】这本开放书籍帮你扫清通往ML的数学绊脚石
机器学习算法与Python学习
37+阅读 · 2018年10月28日
学习人工智能需要哪些必备的数学基础?
机器学习实践指南
Linux中国
3+阅读 · 2017年9月28日
相关论文
A Modern Introduction to Online Learning
Francesco Orabona
14+阅读 · 2019年12月31日
Bernhard Schölkopf
9+阅读 · 2019年11月24日
Tassilo Klein,Moin Nabi
3+阅读 · 2019年5月31日
How to Fine-Tune BERT for Text Classification?
Chi Sun,Xipeng Qiu,Yige Xu,Xuanjing Huang
11+阅读 · 2019年5月14日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
3+阅读 · 2019年4月10日
Konstantinos Skianis,Nikolaos Tziortziotis,Michalis Vazirgiannis
6+阅读 · 2018年7月12日
Jian Liu,Naveed Akhtar,Ajmal Mian
3+阅读 · 2018年5月1日
Tong Yu,Branislav Kveton,Zheng Wen,Hung Bui,Ole J. Mengshoel
4+阅读 · 2018年4月26日
Abhay Gupta,Arjun D'Cunha,Kamal Awasthi,Vineeth Balasubramanian
4+阅读 · 2018年4月12日
Quanshi Zhang,Ying Nian Wu,Song-Chun Zhu
14+阅读 · 2018年2月14日
Top