数据驱动的发现正在彻底改变复杂系统的建模、预测和控制。这本教科书汇集了机器学习、工程数学和数学物理,将动态系统的建模和控制与现代数据科学方法相结合。它强调了科学计算领域的许多最新进展,使数据驱动的方法能够应用于各种复杂系统,如湍流、大脑、气候、流行病学、金融、机器人和自主。旨在在工程和物理科学的高级本科和开始研究生,文本提出了从介绍到艺术的状态的一系列主题和方法。

主要特点:

  • 深入的工作示例与全面的开源代码

  • 对复杂概念及其应用的简明易懂的解释

  • 广泛的在线补充包括练习,案例研究,课程视频,数据和补充代码

第一部分:降维与变换

尽管测量和计算的分辨率迅速提高,但许多复杂系统在数据中表现出主导的低维模式。模式提取涉及到找到坐标变换,从而简化系统。的确,数学物理的丰富历史是以坐标变换为中心的(例如,谱分解、傅里叶变换、广义函数等),尽管这些技术在很大程度上仅限于简单的理想化几何和线性动力学。获得数据驱动转换的能力为将这些技术推广到具有更复杂几何和边界条件的新研究问题提供了机会。

这本书的这一部分将调查两个最强大和普遍的算法转换和减少数据:奇异值分解(SVD)和傅立叶变换。数据可以在这些转换后的坐标系统中压缩,这一事实使建模和控制的高效传感和紧凑表示成为可能。因此,第三章涉及到利用这种低维结构的稀疏采样方法。

第二部分:机器学习和数据分析

机器学习是基于数据优化技术的。目标是找到一个低秩子空间来最优地嵌入数据,以及回归方法来聚类和分类不同的数据类型。因此,机器学习提供了一套有原则的数学方法,用于从数据中提取有意义的特征,即数据挖掘,以及将数据分成不同的有意义的模式,可以用于决策制定、状态估计和预测。具体来说,它从数据中学习并根据数据做出预测。对于商业应用程序,这通常被称为预测分析,它处于现代数据驱动决策制定的前沿。在一个集成系统中,如自主机器人,各种机器学习组件(例如,处理视觉和触觉刺激)可以被集成,形成我们现在所说的人工智能(AI)。明确地说,人工智能建立在集成的机器学习算法之上,而机器学习算法又从根本上植根于优化。

第三部分:动力学和控制

数据驱动的发现正在彻底改变我们建模、预测和控制复杂系统的方式。现代最紧迫的科学和工程问题是不服从经验模型或基于第一性原理的推导的。研究人员越来越多地转向数据驱动的方法,用于各种复杂系统,如动荡、大脑、气候、流行病学、金融、机器人和自主。这些系统通常是非线性的、动态的、空间和时间的多尺度的、高维的,具有主导的潜在模式,应该为感知、预测、估计和控制的最终目标进行特征化和建模。借助现代数学方法,以及前所未有的可用数据和计算资源,我们现在能够解决以前无法实现的挑战问题。

第四部分:简化订单模型(ROMs)

适当的正交分解(POD)是应用于偏微分方程(PDEs)的SVD算法。因此,它是研究复杂时空系统最重要的降维技术之一。这样的系统典型的例子是非线性偏微分方程,它规定了在给定的物理、工程和/或生物系统中感兴趣的数量在时间和空间上的进化。POD的成功与一个普遍存在的现象有关:在大多数复杂系统中,有意义的行为被编码在动态活动的低维模式中。POD技术试图利用这一事实,以生产能够精确建模控制复杂系统的完整时空演化的低秩动力系统。具体来说,简化阶模型(ROMs)利用POD模式将PDE动力学投影到低阶子空间,在这些子空间中,控制PDE模型的模拟可以更容易地进行评估。重要的是,ROM产生的低秩模型在计算速度方面有了显著的改进,潜在地使昂贵的PDE系统蒙特卡罗模拟、参数化PDE系统的优化和/或基于PDE的系统的实时控制成为可能。

成为VIP会员查看完整内容
0
35

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

用测试驱动方法开发出可靠、稳定的机器学习算法 利用机器学习技术解决涉及数据的现实问题

通过阅读本书,你将能够:

  • 在编写代码之前,运用测试驱动的方法来编写和运行测试
  • 学习八种机器学习算法的最佳用法,并进行权衡
  • 通过动手实践真实示例,对每种算法进行测试
  • 理解测试驱动开发和对解进行验证的科学方法之间的相似性
  • 获悉机器学习的风险,如对数据产生欠拟合或过拟合
  • 探索可改善机器学习模型或数据提取的各种技术

本书每一章都通过示例介绍了机器学习技术能够解决的有关数据的具体问题,以及求解问题和处理数据的方法。具体涵盖了测试驱动的机器学习、机器学习概述、K 近邻分类、朴素贝叶斯分类、隐马尔可夫模型、支持向量机、神经网络、聚类、核岭回归、模型改进与数据提取等内容。

成为VIP会员查看完整内容
0
14

矩阵代数是数据分析和统计理论中最重要的数学领域之一。这本书的第一部分为统计中的应用提出矩阵代数的理论的相关方面。本部分从向量和向量空间的基本概念开始,接着介绍矩阵的基本代数性质,然后描述向量和矩阵在多元演算中的解析性质,最后讨论线性系统解和特征分析中矩阵的运算。这部分基本上是独立的。

本书的第二部分开始考虑在统计中遇到的各种类型的矩阵,例如投影矩阵和正定矩阵,并描述这些矩阵的特殊性质。第二部分也介绍了矩阵理论在统计中的一些应用,包括线性模型、多元分析和随机过程。本部分说明了在本书第一部分中发展的矩阵理论。书的前两个部分可以作为为统计学生的矩阵代数课程的文本,或作为在线性模型或多元统计的各种课程的补充文本。

这本书的第三部分涵盖了数值线性代数。它以数值计算的基础讨论开始,然后描述精确和有效的算法因式分解矩阵,求解线性方程组,并提取特征值和特征向量。虽然这本书没有捆绑到任何特定的软件系统,它描述并给出了使用数字线性代数的现代计算机软件的例子。这部分基本上是自包含的,尽管它假设有一些能力用Fortran或C编程和/或使用R/S-Plus或Matlab的能力。书的这一部分可以作为在统计计算中的一门课程的文本使用,或者作为强调计算的各种课程的补充文本。

这本书包括大量的练习,并在附录中提供了一些解决方案。

James E. Gentle是乔治梅森大学计算统计学教授。他是美国统计协会(ASA)和美国科学促进会的会员。他曾在美国标准局担任过几个国家职务并担任过美国标准局期刊的副主编以及其他统计和计算期刊的副主编。他是随机数生成和蒙特卡罗方法,第二版,和计算统计元素的作者。

成为VIP会员查看完整内容
0
42

深度神经网络已经彻底改变了电力系统中的许多机器学习任务,从模式识别到信号处理。这些任务中的数据通常以欧几里得域表示。然而,在电力系统中有越来越多的应用,其中的数据收集自非欧几里得域,并表示为具有高维特征和节点间相互依赖的图结构数据。图结构数据的复杂性给现有的欧几里得域深度神经网络带来了重大挑战。近年来,在电力系统图结构数据的深度神经网络扩展方面出现了许多研究。本文对电力系统中的图神经网络(GNNs)进行了综述。总结了几种经典的GNNs结构范式 (图卷积网络、图递归神经网络、图注意力网络、图生成网络、时空图卷积网络以及混合形式的GNNs),并详细综述了其在电力系统故障诊断、功率预测、能流计算和数据生成等方面的关键应用。此外,还讨论了GNN在电力系统中应用的主要问题和一些研究趋势。

https://www.zhuanzhi.ai/paper/4b5bc1768a01d1a9dccfc5dc32885c63

成为VIP会员查看完整内容
0
18

这本书介绍了金融中的机器学习方法。它为量化金融提出了一个统一的处理机器学习和各种统计计算学科,如金融计量经济学和离散时间随机控制,并强调为金融数据建模和决策如何进行理论和假设检验做出算法的选择。随着计算资源和数据集的增加,机器学习已经成为金融业的一项重要技能。这本书是为在金融计量经济学,金融数学和应用统计学的高级研究生和学者写的,此外还包括在定量金融领域的定量和数据科学家。

金融中的机器学习:从理论到实践分为三个部分,每个部分包括理论和应用。第一篇从贝叶斯和频率论的角度介绍了对横断面数据的监督学习。更高级的材料强调神经网络,包括深度学习,以及高斯过程,在投资管理和衍生建模的例子。第二部分介绍了时间序列数据的监督学习,这是金融领域最常用的数据类型,并举例说明了交易、随机波动和固定收益模型。最后,第三部分介绍了强化学习及其在交易、投资和财富管理中的应用。还提供了Python代码示例,以支持读者对方法和应用的理解。这本书还包括超过80个数学和编程练习例子,与工作的解决方案可提供给教师。作为这一新兴领域研究的桥梁,最后一章从研究人员的角度介绍了金融机器学习的前沿,强调了统计物理中有多少众所周知的概念可能会作为金融机器学习的重要方法出现。

https://www.springer.com/gp/book/9783030410674

代码: https://github.com/mfrdixon/ML_Finance_Codes

成为VIP会员查看完整内容
2
80

凸优化研究在凸集上最小化凸函数的问题。凸性,连同它的许多含义,已经被用来为许多类凸程序提出有效的算法。因此,凸优化已经广泛地影响了科学和工程的几个学科。

过去几年,凸优化算法彻底改变了离散和连续优化问题的算法设计。对于图的最大流、二部图的最大匹配和子模函数最小化等问题,已知的最快算法涉及到对凸优化算法的基本和重要使用,如梯度下降、镜像下降、内点方法和切割平面方法。令人惊讶的是,凸优化算法也被用于设计离散对象(如拟阵)的计数问题。同时,凸优化算法已经成为许多现代机器学习应用的中心。由于输入实例越来越大、越来越复杂,对凸优化算法的需求也极大地推动了凸优化技术本身的发展。

这本书的目的是使读者能够获得对凸优化算法的深入理解。重点是从第一性原理推导出凸优化的关键算法,并根据输入长度建立精确的运行时间界限。由于这些方法的广泛适用性,一本书不可能向所有人展示这些方法的应用。这本书展示了各种离散优化和计数问题的快速算法的应用。本书中所选的应用程序的目的是为了说明连续优化和离散优化之间的一个相当令人惊讶的桥梁。

目标受众包括高级本科生、研究生和理论计算机科学、离散优化和机器学习方面的研究人员。

https://convex-optimization.github.io/

第一章-连续优化和离散优化的衔接

我们提出了连续优化和离散优化之间的相互作用。最大流问题是一个激励人心的例子。我们也追溯了线性规划的历史——从椭球法到现代内点法。最后介绍了椭球法在求解最大熵问题等一般凸规划问题上的一些最新成果。

第二章 预备知识

我们复习这本书所需的数学基础知识。这些内容包括多元微积分、线性代数、几何、拓扑、动力系统和图论中的一些标准概念和事实。

第三章-凸性

我们引入凸集,凸性的概念,并展示了伴随凸性而来的能力:凸集具有分离超平面,子梯度存在,凸函数的局部最优解是全局最优解。

第四章-凸优化与效率

我们提出了凸优化的概念,并正式讨论了它意味着什么,有效地解决一个凸程序作为一个函数的表示长度的输入和期望的精度。

第五章-对偶性与最优性

我们引入拉格朗日对偶性的概念,并证明在一个称为Slater条件的温和条件下,强拉格朗日对偶性是成立的。随后,我们介绍了拉格朗日对偶和优化方法中经常出现的Legendre-Fenchel对偶。最后,给出了Kahn-Karush-Tucker(KKT)最优性条件及其与强对偶性的关系。

第六章-梯度下降

我们首先介绍梯度下降法,并说明如何将其视为最陡下降。然后,我们证明了梯度下降法在函数的梯度是连续的情况下具有收敛时间界。最后,我们使用梯度下降法提出了一个快速算法的离散优化问题:计算最大流量无向图。

第七章-镜像下降和乘法权值更新

我们推出我们的凸优化的第二个算法-称为镜面下降法-通过正则化观点。首先,提出了基于概率单纯形的凸函数优化算法。随后,我们展示了如何推广它,重要的是,从它推导出乘法权值更新(MWU)方法。然后利用后一种算法开发了一个快速的近似算法来解决图上的二部图匹配问题。

第八章-加速梯度下降

提出了Nesterov的加速梯度下降算法。该算法可以看作是前面介绍的梯度下降法和镜像下降法的混合。我们还提出了一个应用加速梯度法求解线性方程组。

第九章-牛顿法

IWe开始了设计凸优化算法的旅程,其迭代次数与误差成对数关系。作为第一步,我们推导并分析了经典的牛顿方法,这是一个二阶方法的例子。我们认为牛顿方法可以被看作是黎曼流形上的最速下降,然后对其收敛性进行仿射不变分析。

第十章 线性规划的内点法

利用牛顿法及其收敛性,推导出一个线性规划的多项式时间算法。该算法的关键是利用障碍函数的概念和相应的中心路径,将有约束优化问题简化为无约束优化问题。

第十一章-内点法的变种与自洽

给出了线性规划中路径遵循IPM的各种推广。作为应用,我们推导了求解s-t最小代价流问题的快速算法。随后,我们引入了自一致性的概念,并给出了多边形和更一般凸集的障碍函数的概述。

第十二章 线性规划的椭球法

介绍了凸优化的一类切割平面方法,并分析了一种特殊情况,即椭球体法。然后,我们展示了如何使用这个椭球方法来解决线性程序超过0-1多边形时,我们只能访问一个分离oracle的多边形。

第十三章-凸优化的椭球法

我们展示了如何适应椭球法求解一般凸程序。作为应用,我们提出了子模函数最小化的多项式时间算法和计算组合多边形上的最大熵分布的多项式时间算法。

成为VIP会员查看完整内容
0
79

从生态系统中的捕食者-被捕食者数量,到体内的激素调节,自然界中充满了对我们产生深远影响的动力系统。这本书为在生命科学中描述这些相互作用的系统并理解和预测他们的行为的学生开发必要的数学工具。复杂的反馈关系和反直觉的反应在自然界的动力系统中是常见的; 这本书发展了需要探索这些相互作用的定量技能。

微分方程是量化变化的自然数学工具,也是贯穿全书的驱动力。欧拉方法的使用使非线性实例易于处理,并可用于早期本科生的广泛范围,从而提供了一种实用的替代传统微积分课程的程序方法。工具是在大量的,相关的例子中开发的,并强调整个数学模型的构建、评估和解释。在情境中遇到这些概念,学生不仅学习定量技术,而且学习如何在生物学和数学思维方式之间架起桥梁。

例子范围广泛,探索神经元和免疫系统的动力学,通过人口动力学和谷歌PageRank算法。每个场景只依赖于对自然世界的兴趣;学生或教师不假定有生物学专业知识。建立在一个单一的预微积分的前提下,这本书适合两个季度的序列为一或二年级本科生,并满足数学要求的医学院入学。后面的材料为数学和生命科学的更高级的学生提供了机会,在一个丰富的、真实世界的框架中重温理论知识。在所有情况下,焦点都很清楚:数学如何帮助我们理解科学?

成为VIP会员查看完整内容
0
30

这本教科书通过提供实用的建议,使用直接的例子,并提供相关应用的引人入胜的讨论,以一种容易理解的方式介绍了基本的机器学习概念。主要的主题包括贝叶斯分类器,最近邻分类器,线性和多项式分类器,决策树,神经网络,和支持向量机。后面的章节展示了如何通过“推进”的方式结合这些简单的工具,如何在更复杂的领域中利用它们,以及如何处理各种高级的实际问题。有一章专门介绍流行的遗传算法。

这个修订的版本包含关于工业中机器学习的实用应用的关键主题的三个全新的章节。这些章节研究了多标签域,无监督学习和它在深度学习中的使用,以及归纳逻辑编程的逻辑方法。许多章节已经被扩展,并且材料的呈现已经被增强。这本书包含了许多新的练习,许多解决的例子,深入的实验,和独立工作的计算机作业。

https://link.springer.com/book/10.1007/978-3-319-63913-0#about

成为VIP会员查看完整内容
0
108

凸优化作为一个数学问题已经被研究了一个多世纪,并在许多应用领域的实践中应用了大约半个世纪,包括控制、金融、信号处理、数据挖掘和机器学习。本文主要研究凸优化的几个问题,以及机器学习的具体应用。

成为VIP会员查看完整内容
0
77

由于特征工程通常是特定于数据类型且依赖于应用程序的,本书包含专门介绍主要数据类型的特征工程的章节,如文本数据、图像数据、序列数据、时间序列数据、图形数据、流数据、软件工程数据、Twitter 数据和社交媒体数据。这些章节介绍了生成经过反复测试、手工制作的特定于域的功能以及自动通用功能生成方法(如 Word2Vec)的方法。

本书目录:

  1. 预览概述
  2. 文本数据特征工程 
  3. 视觉数据特征提取学习
  4. 基于特征的时序分析
  5. 数据特征流工程
  6. 序列特征生成与特征工程
  7. 图与网络特征生成
  8. 特征选择与评估
  9. 监督学习中的自动特征工程
  10. 基于模式的特征生成
  11. 深度学习特征表示
  12. 用于社交机器人检测的特征工程
  13. 用于软件分析的特征生成与工程
  14. Twitter应用特征工程

本书还包含有关特征选择、基于特征转换的自动方法、使用深度学习方法生成功能以及使用频繁和对比度模式生成特征的章节。有几章是关于在特定应用中使用特征工程的。

本书包含许多有用的特征工程概念和技术,这些概念和技术适用于多种方案:(a) 生成功能以表示没有要素时的数据,(b) 在(人们可能担心)存在时生成有效特征功能不够好/竞争力不够,(c) 在功能过多时选择功能,(d) 为特定类型的应用程序生成和选择有效功能,以及 (e) 了解与相关挑战以及需要处理的方法,各种数据类型。

成为VIP会员查看完整内容
0
68
小贴士
相关VIP内容
专知会员服务
37+阅读 · 2020年9月20日
专知会员服务
79+阅读 · 2020年9月1日
【干货书】《机器学习导论(第二版)》,348页pdf
专知会员服务
108+阅读 · 2020年6月16日
新书《面向机器学习和数据分析的特征工程》,419页pdf
专知会员服务
68+阅读 · 2019年10月10日
相关论文
Vincent Zhuang,Yanan Sui
0+阅读 · 2月25日
Andreas Kamilaris,Jean-Baptiste Filippi,Chirag Padubidri,Jesper Provoost,Savvas Karatsiolis,Ian Cole,Wouter Couwenbergh,Evi Demetriou
0+阅读 · 2月23日
Minghong Fang,Minghao Sun,Qi Li,Neil Zhenqiang Gong,Jin Tian,Jia Liu
4+阅读 · 2月18日
Yiming Li,Baoyuan Wu,Yong Jiang,Zhifeng Li,Shu-Tao Xia
8+阅读 · 2020年10月26日
Self-Supervised Learning For Few-Shot Image Classification
Da Chen,Yuefeng Chen,Yuhong Li,Feng Mao,Yuan He,Hui Xue
8+阅读 · 2019年11月14日
Foreground-aware Image Inpainting
Wei Xiong,Zhe Lin,Jimei Yang,Xin Lu,Connelly Barnes,Jiebo Luo
3+阅读 · 2019年1月17日
FIGR: Few-shot Image Generation with Reptile
Louis Clouâtre,Marc Demers
3+阅读 · 2019年1月8日
Rahaf Aljundi,Klaas Kelchtermans,Tinne Tuytelaars
3+阅读 · 2018年12月10日
Learning Implicit Fields for Generative Shape Modeling
Zhiqin Chen,Hao Zhang
6+阅读 · 2018年12月6日
Compositional GAN: Learning Conditional Image Composition
Samaneh Azadi,Deepak Pathak,Sayna Ebrahimi,Trevor Darrell
30+阅读 · 2018年7月19日
Top