许多重要的问题都涉及不确定性下的决策,包括飞机碰撞避免、灾害管理和灾难反应。在设计自动化决策系统或决策支持系统时,在做出或推荐决策时考虑各种不确定性来源是很重要的。考虑到这些不确定性的来源并仔细平衡系统的多个目标是非常具有挑战性的。我们将从计算的角度讨论这些挑战,旨在提供决策模型和计算方法背后的理论。本章介绍了不确定性下的决策问题,提供了一些应用实例,并概述了可能的计算方法的空间。本章总结了各种学科对我们理解智能决策的贡献,并强调了潜在社会影响的领域。我们以本书其余部分的大纲结束。

https://github.com/sisl/algorithmsbook

成为VIP会员查看完整内容
0
58

相关内容

这本书提供了一个广泛的不确定性决策的算法介绍。我们涵盖了与决策相关的各种主题,介绍了潜在的数学问题公式和解决它们的算法。

本文面向高级本科生、研究生和专业人员。本书要求具有一定的数学基础,并假定预先接触过多变量微积分、线性代数和概率概念。附录中提供了一些复习材料。这本书特别有用的学科包括数学、统计学、计算机科学、航空航天、电气工程和运筹学。

这本教科书的基础是算法,它们都是用Julia编程语言实现的。这本允许免费使用与本书相关的代码片段,条件是必须确认代码的来源。我们预计其他人可能想把这些算法翻译成其他编程语言。随着翻译版本的发布,我们将从该书的网页上链接到它们。

许多重要的问题都涉及不确定性下的决策,包括飞机碰撞避免、灾害管理和灾难反应。在设计自动化决策系统或决策支持系统时,在做出或推荐决策时考虑各种不确定性来源是很重要的。考虑到这些不确定性的来源并仔细平衡系统的多个目标是非常具有挑战性的。我们将从计算的角度讨论这些挑战,旨在提供决策模型和计算方法背后的理论。本章介绍了不确定性下的决策问题,提供了一些应用实例,并概述了可能的计算方法的空间。本章总结了各种学科对我们理解智能决策的贡献,并强调了潜在社会影响的领域。我们以本书其余部分的大纲结束。

https://algorithmsbook.com/

Introduction

  • PART I: PROBABILISTIC REASONING Representation
  • PART II: SEQUENTIAL PROBLEMS Exact Solution Methods
  • PART III: MODEL UNCERTAINTY Exploration and Exploitation
  • PART V: MULTIAGENT SYSTEMS Multiagent Reasoning
成为VIP会员查看完整内容
0
86

第一节课的重点是分析今天能够进行并行计算的典型个人计算机中的算法行为,第二节课的重点是今天能够进行分布式计算的典型公共云中的此类个人计算机集群中的算法行为。我们将从第1节中简要介绍的基本原理开始,并努力理解过去几十年来算法的重大突破。并行计算是指在一台机器上使用多个处理器和共享内存进行计算。并行计算和分布式计算虽然密切相关,但它们都提出了独特的挑战——主要是并行计算情况下的共享内存管理和分布式计算情况下的网络通信开销最小化。理解并行计算的模型和挑战是理解分布式计算的基础。课程内容反映了这一点,首先在并行环境中涵盖各种经典的、数值的和图形的算法,然后在分布式环境中涵盖相同的主题。目的是强调每个设置带来的独特挑战。

https://github.com/lamastex/scalable-data-science/blob/master/read/daosu.pdf

成为VIP会员查看完整内容
0
47

通过人工神经网络等获得的预测具有很高的准确性,但人类经常将这些模型视为黑盒子。对于人类来说,关于决策制定的洞察大多是不透明的。在医疗保健或金融等高度敏感领域,对决策的理解至关重要。黑盒子背后的决策要求它对人类来说更加透明、可问责和可理解。这篇综述论文提供了基本的定义,概述了可解释监督机器学习(SML)的不同原理和方法。我们进行了最先进的综述,回顾过去和最近可解释的SML方法,并根据介绍的定义对它们进行分类。最后,我们通过一个解释性的案例研究来说明原则,并讨论未来的重要方向。

https://www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的准确性是显著的,但准确性并不是最重要的唯一方面。对于高风险的领域,对模型和输出的详细理解也很重要。底层的机器学习和深度学习算法构建的复杂模型对人类来说是不透明的。Holzinger等人(2019b)指出,医学领域是人工智能面临的最大挑战之一。对于像医疗这样的领域,深刻理解人工智能的应用是至关重要的,对可解释人工智能(XAI)的需求是显而易见的。

可解释性在许多领域很重要,但不是在所有领域。我们已经提到了可解释性很重要的领域,例如卫生保健。在其他领域,比如飞机碰撞避免,算法多年来一直在没有人工交互的情况下运行,也没有给出解释。当存在某种程度的不完整时,需要可解释性。可以肯定的是,不完整性不能与不确定性混淆。不确定性指的是可以通过数学模型形式化和处理的东西。另一方面,不完全性意味着关于问题的某些东西不能充分编码到模型中(Doshi-Velez和Kim(2017))。例如,刑事风险评估工具应该是公正的,它也应该符合人类的公平和道德观念。但伦理学是一个很宽泛的领域,它是主观的,很难正式化。相比之下,飞机避免碰撞是一个很容易理解的问题,也可以被精确地描述。如果一个系统能够很好地避免碰撞,就不用再担心它了。不需要解释。

本文详细介绍了可解释SML的定义,并为该领域中各种方法的分类奠定了基础。我们区分了各种问题定义,将可解释监督学习领域分为可解释模型、代理模型拟合和解释生成。可解释模型的定义关注于自然实现的或通过使用设计原则强制实现的整个模型理解。代理模型拟合方法近似基于黑盒的局部或全局可解释模型。解释生成过程直接产生一种解释,区分局部解释和全局解释。

综上所述,本文的贡献如下:

  • 对五种不同的解释方法进行形式化,并对整个解释链的相应文献(分类和回归)进行回顾。
  • 可解释性的原因,审查重要领域和可解释性的评估
  • 这一章仅仅强调了围绕数据和可解释性主题的各个方面,比如数据质量和本体
  • 支持理解不同解释方法的连续用例
  • 回顾重要的未来方向和讨论

成为VIP会员查看完整内容
0
51

有很多关于傅里叶变换的书; 然而,很少有面向多学科读者的。为工程师写一本关于代数概念的书是一个真正的挑战,即使不是太难的事,也要比写一本关于理论应用的代数书更有挑战性。这就是本书试图面对的挑战。因此,每个读者都能够创建一个“按菜单”的程序,并从语句或计算机程序中提取特定元素,以建立他们在该领域的知识,或将其运用于更具体的问题。

本文叙述是非常详细的。读者可能偶尔需要一些关于有限组的高级概念,以及对组行为的熟悉程度。我强调了那些重要的定义和符号。例如,从多个角度(交换群、信号处理、非交换群)研究卷积的概念,每次都要放在它的背景知识中。因此,不同的段落,虽然遵循一个逻辑递进,有一个真正的统一,但可以根据自己需要选取阅读。

第一章用群论的语言来解释主要概念,并解释后面将用到的符号。第二章将所得结果应用于各种问题,并首次接触快速算法(例如Walsh 变换)。第三章对离散傅里叶变换进行了阐述。第四章介绍了离散傅里叶变换的各种应用,并构成了对前一章的必要补充,以充分理解所涉及的机制以及在实际情况中使用。第五章围绕傅里叶变换提出了更多新颖的思想和算法,产生了大量的应用。第六章需要一些更高级的知识,特别是对有限场理论的一些熟悉。它研究了有限域中的值变换,并给出了在校正码中的应用。最后两章(最困难的一章),具有更多的代数性质,并建议推广已经在有限非交换群的情况下进行的构造。第七章揭示了线性表示的理论。第八章和最后一章将这一理论应用于理论(群的简洁性研究)和实际(光谱分析)领域。

https://mathematical-tours.github.io/daft/

成为VIP会员查看完整内容
0
46

题目 Algorithms in C:C语言算法实现

关键词

算法设计,C语言,编程

简介

本书的目的是研究各种重要且有用的算法:解决适合计算机实现的问题的方法。 我们将处理许多不同的应用领域,始终尝试着重于重要的知识和学习有趣的“基本”算法。 由于涉及的领域和算法众多,因此我们无法深入研究许多方法。 但是,我们将尝试在每种算法上花费足够的时间,以了解其基本特征并尊重其微妙之处。 简而言之,我们的目标是学习当今计算机上使用的大量最重要的算法,并且足以使用和欣赏它们。

要很好地学习算法,必须实现并运行它。 因此,理解本书中介绍的程序的推荐策略是实施和测试它们,尝试使用变体,然后对实际问题进行尝试。 我们将使用C编程语言来讨论和实现大多数算法。 但是,由于我们使用的是语言的较小子集,因此我们的程序可以轻松转换为许多其他现代编程语言。

本书的读者应该至少有一年的高级和低级语言编程经验。 另外,虽然在第3章和第4章中对此材料进行了详细的介绍,但对简单数据结构(如数组,堆栈,队列和T恤)上的基本算法进行一些接触可能会有所帮助,尽管在第3章和第4章中对此材料进行了详细介绍。 还假定了其他基本计算机科学概念。 (我们将在适当的时候简要地回顾这些材料,但始终在解决特定问题的上下文中。)我们处理的一些应用领域需要基本演算的知识。 我们还将使用一些非常基本的材料,包括lin-ear代数,几何和离散数学,但是这些主题的先前知识不是必需的。

目录


成为VIP会员查看完整内容
0
46

这本书全面介绍优化工程系统设计的实用算法。这本书从工程的角度进行优化,其目标是设计一个系统来优化受约束的一组指标。读者将学习一系列挑战的计算方法,包括高维搜索空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。图表、例子和练习传达了数学方法背后的直觉。文本提供了Julia编程语言的具体实现。

https://mitpress.mit.edu/books/algorithms-optimization

许多学科的核心都涉及到优化。在物理学中,系统被驱动到他们的最低能量状态服从物理定律。在商业上,公司的目标是股东价值最大化。在生物学中,越健康的生物体越有可能生存下来。这本书将从工程的角度关注优化,目标是设计一个系统来优化受约束的一组指标。这个系统可以是一个复杂的物理系统,比如飞机,也可以是一个简单的结构,比如自行车车架。这个系统甚至可能不是物理的;例如,我们可能会有兴趣为自动化车辆设计一个控制系统,或设计一个计算机视觉系统来检测肿瘤活检的图像是否为癌。我们希望这些系统能运行得尽可能好。根据应用程序的不同,相关的度量可能包括效率、安全性和准确性。对设计的限制可能包括成本、重量和结构坚固性。

这本书是关于优化的算法,或计算过程。给定系统设计的一些表示,如编码机翼几何的一组数字,这些算法将告诉我们如何搜索空间的可能设计,以找到最好的一个。根据应用程序的不同,这种搜索可能涉及运行物理实验,比如风洞测试,也可能涉及计算解析表达式或运行计算机模拟。我们将讨论解决各种挑战的计算方法,例如如何搜索高维空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。

成为VIP会员查看完整内容
0
152

【导读】深度神经网络在很多监督任务都达到了SOTA性能,但是其计算量是个挑战。来自MIT 教授 Vivienne Sze等学者发布了关于《深度神经网络的高效处理》著作,本书为深度神经网络(DNNs)的高效处理提供了关键原则和技术的结构化处理。值得关注。

https://www.morganclaypoolpublishers.com/catalog_Orig/product_info.php?cPath=22&products_id=1530

本书为深度神经网络(DNNs)的高效处理提供了关键原则和技术的结构化处理。DNNs目前广泛应用于许多人工智能(AI)应用,包括计算机视觉、语音识别和机器人技术。虽然DNNs在许多人工智能任务中提供了最好的性能,但它以高计算复杂度为代价。因此,在不牺牲准确性或增加硬件成本的情况下,能够有效处理深层神经网络以提高指标(如能源效率、吞吐量和延迟)的技术对于在人工智能系统中广泛部署DNNs至关重要。

本书中包括了DNN处理的背景知识;设计DNN加速器的硬件架构方法的描述和分类;评价和比较不同设计的关键指标;DNN处理的特点是服从硬件/算法的共同设计,以提高能源效率和吞吐量;以及应用新技术的机会。读者将会发现对该领域的结构化介绍,以及对现有工作中关键概念的形式化和组织,从而提供可能激发新想法的见解。

深度神经网络(DNNs)已经变得非常流行; 然而,它们是以高计算复杂度为代价的。因此,人们对有效处理DNNs产生了极大的兴趣。DNN加速的挑战有三:

  • 为了实现高性能和效率
  • 提供足够的灵活性,以满足广泛和快速变化的工作负载范围
  • 能够很好地集成到现有的软件框架中。

目录内容:

第一部分理解深层神经网络

  • 介绍
  • 深度神经网络概述

第二部分处理DNNs的硬件设计

  • 关键量度和设计目标
  • 内核计算
  • 设计DNN加速器
  • 专用硬件上的操作映射

第三部分,DNN硬件和算法的协同设计

  • 减少精度
  • 利用稀疏
  • 设计高效的DNN模型
  • 先进技术
  • 结论

第一个模块旨在提供DNN领域的总体背景和了解DNN工作负载的特点。

  • 第一章提供了DNNs为什么重要的背景,他们的历史和他们的应用。
  • 第二章概述了神经网络的基本组成部分和目前常用的神经网络模型。还介绍了用于DNN研究和开发的各种资源。这包括各种软件框架的讨论,以及用于训练和评估的公共数据集。

第二部分主要介绍处理DNNs的硬件设计。它根据定制程度(从通用平台到完全定制硬件)讨论各种架构设计决策,以及在将DNN工作负载映射到这些架构时的设计考虑。同时考虑了时间和空间架构。

  • 第三章描述了在设计或比较各种DNN加速器时应该考虑的关键指标。
  • 第四章描述了如何处理DNN内核,重点关注的是时序架构,比如cpu和gpu。为了获得更高的效率,这类架构通常具有缓存层次结构和粗粒度的计算能力,例如向量指令,从而使计算结果更高效。对于这样的架构,DNN处理通常可以转化为矩阵乘法,这有很多优化的机会。本章还讨论了各种软件和硬件优化,用于加速这些平台上的DNN计算,而不影响应用程序的精度。
  • 第五章介绍了DNN处理专用硬件的设计,重点介绍了空间架构。它强调了用于处理DNN的硬件的处理顺序和产生的数据移动,以及与DNN的循环嵌套表示的关系。循环嵌套中的循环顺序称为数据流,它决定了移动每个数据块的频率。循环嵌套中的循环限制描述了如何将DNN工作负载分解成更小的块,称为平铺/阻塞,以说明在内存层次结构的不同级别上有限的存储容量。
  • 第六章介绍了将DNN工作负载映射到DNN加速器的过程。它描述了找到优化映射所需的步骤,包括枚举所有合法映射,并通过使用预测吞吐量和能源效率的模型来搜索这些映射。

第三个模块讨论了如何通过算法和硬件的协同设计来提高堆栈的效率,或者通过使用混合信号电路新的存储器或设备技术来降低堆栈的效率。在修改算法的情况下,必须仔细评估对精度的影响。

  • 第七章描述了如何降低数据和计算的精度,从而提高吞吐量和能源效率。它讨论了如何使用量化和相关的设计考虑来降低精度,包括硬件成本和对精度的影响。
  • 第八章描述了如何利用DNNs的稀疏性来减少数据的占用,这为减少存储需求、数据移动和算术操作提供了机会。它描述了稀疏的各种来源和增加稀疏的技术。然后讨论了稀疏DNN加速器如何将稀疏转化为能源效率和吞吐量的提高。它还提出了一种新的抽象数据表示,可用于表达和获得关于各种稀疏DNN加速器的数据流的见解。
  • 第九章描述了如何优化DNN模型的结构(即(例如DNN的“网络架构”),以提高吞吐量和能源效率,同时尽量减少对准确性的影响。它讨论了手工设计方法和自动设计方法(例如。(如神经结构搜索)
  • 第十章,关于先进技术,讨论了如何使用混合信号电路和新的存储技术,使计算更接近数据(例如,在内存中处理),以解决昂贵的数据移动,支配吞吐量和DNNs的能源消耗。并简要讨论了在光域内进行计算和通信以降低能耗和提高吞吐量的前景。

Vivienne Sze,来自 MIT 的高效能多媒体系统组(Energy-Efficient Multimedia Systems Group)。她曾就读于多伦多大学,在 MIT 完成 PhD 学业并获得电气工程博士学位,目前在 MIT 任教。Sze 教授的主要研究兴趣是高效能算法和移动多媒体设备应用架构。

成为VIP会员查看完整内容
0
91

如果你对金融数学有一点了解,但对编程还不是很了解,那么c++ for financial mathematics就是适合你的。

c++是许多从事定量金融工作的人必备的技能,但学习它可能是一个令人畏缩的前景。这本书汇集了你需要知道的一切,以定价的c++衍生工具,没有不必要的复杂性或技术细节。它引导读者一步一步地从编程新手写一个复杂和灵活的金融数学图书馆。在每一步,每一个新的想法都是有动机的,并以具体的财务例子加以说明。

正如雇主们所理解的那样,编程不仅仅是掌握一门计算机语言。除了介绍c++的核心语言特性外,本书还教授编写真正高质量软件所需的技能。这些主题包括单元测试、调试、设计模式和数据结构。

这本书教你用c++解决现实的财务问题所需要知道的一切。它可以用于自学,也可以作为高等本科或硕士课程的教科书。

https://www.crcpress.com/C-for-Financial-Mathematics/Armstrong/p/book/9781498750059

成为VIP会员查看完整内容
0
40

创建健壮的软件需要使用高效的算法,但是程序员在问题出现之前很少考虑这些算法。这个更新版的算法简而言之描述了大量现有的算法,用于解决各种各样的问题,并帮助您选择和实现适合您需要的正确算法—只需足够的数学知识就可以让您理解和分析算法的性能。

本书的重点是应用,而不是理论,它提供了几种编程语言的高效代码解决方案,您可以轻松地适应特定的项目。每个主要算法都以设计模式的形式呈现,其中包含帮助您理解为什么以及何时使用该算法的信息。

有了这本书,你将: 解决特定的编码问题或改进现有解决方案的性能 快速定位与您想要解决的问题相关的算法,并确定为什么使用特定的算法是正确的 通过实现技巧获得C、c++、Java和Ruby中的算法解决方案 了解一个算法的预期性能,以及它需要在最佳状态下执行的条件 发现相似的设计决策对不同算法的影响 学习先进的数据结构,提高算法的效率

成为VIP会员查看完整内容
0
93

题目: Reinforcement Learning:Theory and Algorithms

简介:

强化学习是近几年研究的热点,特别是伴随DeepMind AlphaGo的出现名声大噪。强化学习(RL)是一种机器学习范式,在这种范式中,agent从经验中学习完成顺序决策任务,RL在机器人、控制、对话系统、医疗等领域有广泛的应用。《强化学习:理论与算法》这本书讲述了强化学习最新进展,包括MDP、样本复杂度、策略探索、PG、值函数等关键议题,是了解强化学习的材料。

章节:

  • 第一章:马尔科夫决策过程MDP 预介绍
  • 第二章:生成模型的样本复杂度
  • 第三章:强化学习的策略探索
  • 第四章:策略梯度方法
  • 第五章:值函数近似
  • 第六章:RL的战略探索和丰富的观测资料
  • 第七章:行为克隆和学徒学习

作者简介:

Alekh Agarwal目前是微软人工智能研究中心的研究员,领导强化学习研究小组。之前,在加州大学伯克利分校获得计算机科学博士学位后,与彼得·巴特利特(Peter Bartlett)和马丁·温赖特(Martin Wainwright)一起在纽约微软研究院(Microsoft Research)度过了六年美好的时光。

姜楠,UIUC助理教授,机器学习研究员。核心研究领域是强化学习(RL),关注于RL的样本效率,并利用统计学习理论中的思想来分析和开发RL算法。

沙姆·卡卡德(Sham M. Kakade)是华盛顿研究基金会(Washington Research Foundation)数据科学主席,同时在华盛顿大学(University of Washington)艾伦学院(Allen School)和统计学系任职。他致力于机器学习的理论基础,专注于设计(和实现)统计和计算效率的算法。

成为VIP会员查看完整内容
rl_monograph_AJK.pdf
0
72
小贴士
相关论文
Provably Efficient Algorithms for Multi-Objective Competitive RL
Tiancheng Yu,Yi Tian,Jingzhao Zhang,Suvrit Sra
0+阅读 · 2月5日
Rajesh Siraskar
0+阅读 · 2月4日
Archit Patke,Saurabh Jha,Haoran Qiu,Jim Brandt,Ann Gentile,Joe Greenseid,Zbigniew Kalbarczyk,Ravishankar Iyer
0+阅读 · 2月4日
Jiacheng Yang,Mingxuan Wang,Hao Zhou,Chengqi Zhao,Yong Yu,Weinan Zhang,Lei Li
5+阅读 · 2020年3月26日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
78+阅读 · 2019年12月19日
The Evolved Transformer
David R. So,Chen Liang,Quoc V. Le
5+阅读 · 2019年1月30日
Generalization and Regularization in DQN
Jesse Farebrother,Marlos C. Machado,Michael Bowling
5+阅读 · 2019年1月30日
Ioannis Athanasiadis,Panagiotis Mousouliotis,Loukas Petrou
3+阅读 · 2018年11月12日
Bi Li,Wenxuan Xie,Wenjun Zeng,Wenyu Liu
6+阅读 · 2018年6月19日
Top