最优化计算方法是运筹学、计算数学、机器学习和数据科学与大数据技术等专业的一门核心课程。最优化问题通常需要对实际需求进行定性和定量分析,建立恰当的数学模型来描述该问题,设计合适的计算方法来寻找问题的最优解,探索研究模型和算法的理论性质,考察算法的计算性能等多方面。最优化广泛应用于科学与工程计算、数据科学、机器学习、人工智能、图像和信号处理、金融和经济、管理科学等众多领域。本书将介绍最优化的基本概念、典型案例、基本算法和理论。通过本书的学习,掌握最优化的基本概念,最优性理论,典型的几类最优化问题(如凸优化,无约束优化,约束优化,复合优化等等)的建模或判别,相关优化问题的基本计算方法,并能熟练调用基于MATLAB或Python等语言的典型优化软件程序求解一些标准的优化问题,灵活运用所讲授的算法和理论求解一些非标准的优化问题。达到锻炼将实际问题建立合适最优化模型的能力,选择合适的现有软件包和算法的能力,遇到没有现成算法自己实现简单算法的能力。

http://bicmr.pku.edu.cn/~wenzw/optbook.html

内容简介

它们的主要区别是简化版中不涉及一些复杂的概念、详细的例子和证明等等。在第一章简要介绍最优化基本概念之后,详细版从四个方面进行讲述。

  • 基础知识:第二章介绍最优化建模和算法中经常需要使用的一些基础知识,包括范数、导数、凸集、凸函数、次梯度、共轭函数等。此外为了内容的完整性也在附录部分简要概述了一些基础知识,其中线性代数包含矩阵、特征值、广义逆、SMW公式、Schur补等,数值代数包括范数、方程组求解、矩阵分解、数值代数软件包等,概率论包含随机变量、期望、方差、条件期望、概率不等式等重要概念和结论。

  • 优化建模:第三章阐述一些典型的优化建模方法,并以科学工程计算和机器学习中一些典型问题为例介绍如何建立优化模型。第四章给出了最优化问题的一些典型分类和判别技巧,如线性规划、半定规划、最小二乘问题、复合优化、矩阵优化、随机优化等等。一个实际问题根据其侧重点可以由不同的优化模型来描述,一种优化模型也可以对应很多不同的实际应用。

  • 最优性理论:第五章介绍最优性理论,包括最优解的存在性和唯一性,无约束可微问题、无约束不可微问题、带约束优化问题的一阶或二阶最优性条件,对偶理论,带广义不等式(如半定规划问题)的对偶理论。

  • 最优化算法:第六章介绍无约束优化算法,包括线搜索方法、梯度类算法、次梯度算法、牛顿类算法、信赖域算法、非线性最小二乘法。第七章介绍约束优化算法,包括罚函数法、增广拉格朗日函数法及其在典型凸优化问题的主问题和对偶问题上的具体应用,线性规划内点法。第八章介绍复合优化算法,包括近似点梯度法、Nesterov加速算法、近似点算法、分块坐标下降法、对偶算法、交替方向乘子法、随机优化算法。

本书主要概念基本配有详细的例子来解释。主要优化算法也都通过实际应用问题对算法细节进行详细阐述,特别是在稀疏优化和逻辑回归等等问题的典型场景下进行数值试验,给出最优性度量与迭代步数关系等数值结果,相关程序也可以在本网页下载。

本书特点

从优化建模和模型分类等不同侧面阐述优化问题。考虑到优化问题大多来源于实际问题,本书的详细版以一定篇幅介绍优化建模中的技术,包括压缩感知、低秩矩阵恢复、回归分析、逻辑回归、支持向量机、相位恢复、字典学习、图像处理、深度学习、强化学习等等,帮助读者理解优化问题中每一部分的具体含义。此外,本书也详细讨论了若干种典型优化问题,包括线性规划、最小二乘问题、复合优化问题、半定规划、矩阵优化问题、随机优化问题等等。着重介绍每种优化问题的特点,并列举出大量的实例。

系统全面地讲述了适用于大规模计算的一阶优化算法。本书除了介绍一些经典的无约束和约束优化问题的算法外,强化了增广拉格朗日函数法在凸问题中应用,特别着重讲述了带非光滑结构的复合优化问题的最优性条件和近年来发展起来的一阶优化算法及相应理论,包括近似点梯度法、Nesterov加速算法、近似点算法、分块坐标下降法、对偶算法、交替方向乘子法、随机优化算法等等。因此,本书问题和算法广泛覆盖了常用的光滑和非光滑优化,凸优化和非凸优化,线性和非线性优化,确定性优化和随机优化。 通过详细的应用实例和高质量代码实现强化对问题和算法的理解。本书中应用实例贯穿于各个章节中,在优化建模、优化问题举例、最优性条件、优化算法章节加入了大量实际例子来帮助读者理解相关内容。特别地,本书通过前面提到的一些重要实际应用问题对主要优化算法细节进行详细阐述,在稀疏优化和逻辑回归等问题的典型场景下进行数值试验,给出最优性度量与迭代步数关系等数值结果。

成为VIP会员查看完整内容
0
86
自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限,注意力机制选择、调整和关注与行为最相关的信息。

几十年来,哲学、心理学、神经科学和计算机科学都在研究注意力的概念和功能。在过去的六年中,这一特性在深度神经网络中得到了广泛的研究。目前,深度学习的研究进展主要体现在几个应用领域的神经注意力模型上。

本研究对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,识别并讨论了那些注意力显示出重大影响的架构。我们亦制订了一套自动化方法体系,并将其公诸于众,以促进这方面的研究工作。通过批判性地分析650部文献,我们描述了注意力在卷积、循环网络和生成模型中的主要用途,识别了使用和应用的共同子组。

此外,我们还描述了注意力在不同应用领域的影响及其对神经网络可解释性的影响。最后,我们列出了进一步研究的可能趋势和机会,希望这篇综述能够对该领域的主要注意力模型提供一个简明的概述,并指导研究者开发未来的方法,以推动进一步的改进。

成为VIP会员查看完整内容
0
77
深度学习目前最流行的框架是Tensorflow和PyTorch,市面上讲解Tensorflow的实战教材很多,但关于PyTorch的书却很少。今天给大家推荐一本2019年最新出炉的新书《PyTorch实战 - 一个解决问题的方法》。本书内容很新,由浅入深,全面讲解了如何基于PyTorch框架搭建深度学习模型,进行模型部署的方方面面,是一本不可多得的PyTorch入门书籍。

本书介绍

人工智能产品和解决方案的开发最近已经成为一种常态;因此,对基于图论的计算框架的需求正在上升。当建模框架是动态的、灵活的,并且能够适应其他框架时,让深度学习模型在实际应用中工作是可能的。

PyTorch最近加入了图形计算工具/编程语言联盟。针对以前框架的局限性,PyTorch承诺在部署深度学习模型以及使用卷积神经网络、递归神经网络、LSTMs和深度神经网络的组合创建高级模型方面提供更好的用户体验。PyTorch是由Facebook的人工智能研究部门创建的,该部门旨在使模型开发过程简单、直接、动态,这样开发人员就不必担心在编译和执行模型之前声明对象。它基于Torch框架,是Python的扩展。

这本书面向数据科学家、自然语言处理工程师、人工智能解决方案开发人员、从事图形计算框架的现有从业人员以及图论研究人员。这本书主要讲解张量(Tensor)的基础知识、计算、执行基于算术的运算、矩阵代数和使用PyTorch框架的基于统计分布式运算。

第3章和第4章提供了关于神经网络基础知识的详细描述。探索先进的神经网络,如卷积神经网络、递归神经网络和LSTMs。读者将能够使用PyTorch函数实现这些模型。第5章和第6章主要讲解模型的微调、超参数调整以及生产环境中如何对现有PyTorch模型进行改进。读者将学习如何选择超级参数来微调模型。第7章主要讲解自然语言处理相关的应用。深度学习模型及其在自然语言处理和人工智能中的应用是该行业最苛刻的技能之一。读者将能够在深度学习模型中对PyTorch实现的执行和性能进行测试,以执行和处理自然语言。能够将PyTorch与其他基于图形计算的深度学习编程工具进行比较。
成为VIP会员查看完整内容
0
73

PyTorch非常容易学习,并提供了一些高级特性,比如支持多处理器,以及分布式和并行计算。PyTorch有一个预训练模型库,为图像分类提供开箱即用的解决方案。PyTorch提供了进入尖端深度学习的最易访问的切入点之一。它与Python编程语言紧密集成,因此对于Python程序员来说,编写它似乎是自然和直观的。独特的、动态的处理计算图的方法意味着PyTorch既高效又灵活。

本书是为那些想要使用PyTorch进行深度学习的人而写的。目的是通过直接实验让您了解深度学习模型。这本书非常适合那些熟悉Python,了解一些机器学习基础知识,并正在寻找一种方法来有效地发展他们的技能的人。这本书将集中在最重要的特征和给出实际的例子。它假设您有Python的工作知识,并熟悉相关的数学思想,包括线性代数和微分。这本书提供了足够的理论,让你开始和运行,不需要严格的数学理解。在本书结束时,您将有一个深度学习系统的实用知识,并能够应用PyTorch模型来解决您关心的问题。

成为VIP会员查看完整内容
0
64

PyTorch是Facebook于2017年初在机器学习和科学计算工具Torch的基础上,针对Python语言发布的一个全新的机器学习工具包,一经推出便受到了业界的广泛关注和讨论,目前已经成为机器学习从业人员的研发工具。

《PyTorch深度学习》是使用PyTorch构建神经网络模型的实用指南,内容分为9章,包括PyTorch与深度学习的基础知识、神经网络的构成、神经网络的知识、机器学习基础知识、深度学习在电脑视觉中的应用、深度学习在序列数据和文本中的应用、生成网络、现代网络架构,以及PyTorch与深度学习的未来走向。

《PyTorch深度学习》适合对深度学习领域感兴趣且希望一探PyTorch的业内人员阅读;具备其他深度学习框架使用经验的读者,也可以通过本书掌握PyTorch的用法。

Vishnu Subramanian在领导、设计和实施大数据分析项目(人工智能、机器学习和深度学习)方面富有经验。

擅长机器学习、深度学习、分布式机器学习和可视化等。 在零售、金融和旅行等行业颇具经验,还善于理解和协调企业、人工智能和工程团队之间的关系。

成为VIP会员查看完整内容
0
64

如今,企业创建的机器学习(ML)模型中,有一半以上都没有投入生产。主要是面临技术上的操作挑战和障碍,还有组织上的。不管怎样,最基本的是,不在生产中的模型不能提供业务影响。

这本书介绍了MLOps的关键概念,帮助数据科学家和应用工程师不仅可以操作ML模型来驱动真正的业务变化,而且还可以随着时间的推移维护和改进这些模型。通过基于世界各地众多MLOps应用的经验教训,九位机器学习专家对模型生命周期的五个步骤——构建、预生产、部署、监控和治理——提供了深刻见解,揭示了如何将稳健的MLOps过程贯穿始终。

https://www.oreilly.com/library/view/introducing-mlops/9781492083283/

这本书帮助你:

通过减少整个ML管道和工作流程的冲突,实现数据科学价值 通过再训练、定期调整和完全重构来改进ML模型,以确保长期的准确性 设计MLOps的生命周期,使组织风险最小化,模型是公正的、公平的和可解释的 为管道部署和更复杂、不那么标准化的外部业务系统操作ML模型

成为VIP会员查看完整内容
0
48

在这次演讲中,我们从数据压缩(和群不变性)的角度提供了对深度(卷积)网络的完全“白盒”解释。特别地,我们展示了现代的深层架构、线性(卷积)算子和非线性激活,甚至所有的参数都可以从最大化速率缩减(具有群不变性)的原则推导出来。网络的所有层、操作符和参数都是通过前向传播明确构建的,而不是通过后向传播学习。因此得到的网络的所有组件称为ReduNet,具有精确优化、几何和统计解释。这种原则性的方法也有一些令人惊讶的地方:它揭示了类可分离性的不变性和稀疏性之间的基本权衡;它揭示了深层网络和群体不变性的傅里叶变换之间的基本联系-频谱域的计算优势(为什么是尖突神经元?);这种方法还阐明了正向传播(优化)和反向传播(变异)的数学作用。特别地,这样获得的ReduNet 可以通过前向和后向(随机)传播进行微调,都是为了优化同一目标。这是与Berkeley的Yaodong Yu, Ryan Chan, Haozhi Qi ,现在谷歌研究中心的You Chong博士,以及哥伦比亚大学的John Wright教授共同完成的。

https://cmsa.fas.harvard.edu/wp-content/uploads/2021/04/Lecture_Ma-1.pdf

成为VIP会员查看完整内容
0
47

图形数据缩小了人类和计算机看待世界的方式之间的差距。计算机依赖于静态的行和列数据,而人们通过关系来导航和推理生活。本实用指南演示了图形数据如何将这两种方法结合在一起。通过使用来自图论、数据库模式、分布式系统和数据分析的概念,您将到达一个独特的交叉点,即图思维。

作者Denise Koessler Gosnell和Matthias Broecheler展示了数据工程师、数据科学家和数据分析师如何用图形数据库解决复杂的问题。您将探索使用图形技术构建的模板,以及演示团队如何看待应用程序中的图形数据的示例。

使用关系和图形技术构建一个示例应用程序架构 使用图形技术构建客户360应用程序,当今最流行的图形数据模式 深入研究分层数据并对图形数据产生的新范式进行故障排除 在图表数据中找到路径,并了解为什么你对不同路径的信任会激发并告知你的偏好 使用协同过滤来设计一个受netflix启发的推荐系统

成为VIP会员查看完整内容
0
47

来自中国科学技术大学 计算机与科学与技术学院 周正阳关于《如何做研究》的心得

成为VIP会员查看完整内容
0
46

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述, 首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

成为VIP会员查看完整内容
0
40

数据科学是关于量化和理解人类行为,社会科学的圣杯。在下面的章节中,我们将探索一个多方面范式的广泛理论、技术、数据和应用。我们还将回顾为大数据和数据科学开发的新技术,比如使用Dean和Ghemawat(2008)在谷歌和25开发的MapReduce范式,并在雅虎的开源项目Hadoop中实现的分布式计算。26当数据变得超大时,将算法移到数据上比将算法移到数据上要好。正如大数据颠倒了数据库范式一样,大数据也在改变人类行为研究中推理的本质。归根结底,数据科学是社会科学家利用计算机科学的一种思维方式。

https://srdas.github.io/MLBook/

成为VIP会员查看完整内容
0
40

摘要

多任务学习(Multi-Task Learning, MTL)是机器学习中的一种学习范式,其目的是利用多个相关任务中包含的有用信息来帮助提高所有任务的泛化性能。

本文从算法建模、应用和理论分析三个方面对MTL进行了综述。在算法建模方面,给出了MTL的定义,并将不同的MTL算法分为特征学习、低秩、任务聚类、任务关系学习和分解五类,并讨论了每种方法的特点。

为了进一步提高学习任务的性能,MTL可以与半监督学习、主动学习、无监督学习、强化学习、多视图学习和图形模型等学习范式相结合。当任务数量较大或数据维数较高时,我们回顾了在线、并行和分布式的MTL模型,以及维数降维和特征哈希,揭示了它们在计算和存储方面的优势。

许多现实世界的应用程序使用MTL来提高它们的性能,我们在本文中回顾了代表性的工作。最后,我们对MTL进行了理论分析,并讨论了MTL的未来发展方向。

引言

人类可以同时学习多个任务,在这个学习过程中,人类可以使用在一个任务中学习到的知识来帮助学习另一个任务。例如,根据我们学习打网球和壁球的经验,我们发现打网球的技巧可以帮助学习打壁球,反之亦然。多任务学习(Multi-Task learning, MTL)[1]是机器学习的一种学习范式,受人类这种学习能力的启发,它的目标是共同学习多个相关的任务,使一个任务中包含的知识能够被其他任务利用,从而提高手头所有任务的泛化性能。

在其早期阶段,MTL的一个重要动机是缓解数据稀疏问题,即每个任务都有有限数量的标记数据。在数据稀疏性问题中,每个任务中标记数据的数量不足以训练出一个准确的学习器,而MTL则以数据增强的方式将所有任务中的标记数据进行聚合,从而为每个任务获得更准确的学习器。从这个角度来看,MTL可以帮助重用已有的知识,降低学习任务的手工标注成本。当“大数据”时代在计算机视觉和自然语言处理(NLP)等领域到来时,人们发现,深度MTL模型比单任务模型具有更好的性能。MTL有效的一个原因是与单任务学习相比,它利用了更多来自不同学习任务的数据。有了更多的数据,MTL可以为多个任务学习到更健壮、更通用的表示形式和更强大的模型,从而更好地实现任务间的知识共享,提高每个任务的性能,降低每个任务的过拟合风险。

MTL与机器学习中的其他学习范式有关,包括迁移学习[2]、多标签学习[3]和多输出回归。MTL的设置与迁移学习相似,但存在显著差异。在MTL中,不同任务之间没有区别,目标是提高所有任务的性能。而迁移学习是借助源任务来提高目标任务的性能,因此目标任务比源任务起着更重要的作用。总之,MTL对所有的任务一视同仁,但在迁移学习中目标任务最受关注。从知识流的角度来看,迁移学习中的知识转移流是从源任务到目标任务,而在多任务学习中,任何一对任务之间都存在知识共享流,如图1(a)所示。持续学习[4]是一个一个地学习任务,任务是有顺序的,而MTL是将多个任务一起学习。在多标签学习和多输出回归中,每个数据点都与多个标签相关联,这些标签可以是分类的或数字的。如果我们把所有可能的标签都当作一个任务,那么多标签学习和多输出回归在某种意义上可以看作是多任务学习的一种特殊情况,不同的任务在训练和测试阶段总是共享相同的数据。一方面,这种多标签学习和多输出回归的特点导致了与MTL不同的研究问题。例如,排名损失使得与数据点相关的标签的分数(例如分类概率)大于没有标签的分数,可以用于多标签学习,但它不适合MTL,因为不同的任务拥有不同的数据。另一方面,这种在多标签学习和多输出回归中的特性在MTL问题中是无效的。例如,在2.7节中讨论的一个MTL问题中,每个任务都是根据19个生物医学特征预测患者帕金森病的症状评分,不同的患者/任务不应该共享生物医学数据。总之,多标签学习和多输出回归与图1(b)所示的多任务学习是不同的,因此我们不会对多标签学习和多输出回归的文献进行综述。此外,多视图学习是机器学习的另一种学习范式,每个数据点与多个视图相关联,每个视图由一组特征组成。虽然不同的视图有不同的特征集,但是所有的视图是一起学习同一个任务的,因此多视图学习属于具有多组特征的单任务学习,这与图1(c)所示的MTL是不同的。

在过去的几十年里,MTL在人工智能和机器学习领域引起了广泛的关注。许多MTL模型已经被设计出来,并在其他领域得到了广泛的应用。此外,对MTL的理论问题也进行了大量的分析。本文从算法建模、应用和理论分析三个方面对MTL进行了综述。在算法建模方面,首先给出了MTL的定义,然后将不同的MTL算法分为5类: 特征学习方法,又可分为特征转换与特征选择方法、低秩方法、任务聚类方法、任务关系学习方法和分解方法。然后,我们讨论了MTL与其他学习范式的结合,包括半监督学习、主动学习、无监督学习、强化学习、多视图学习和图形模型。为了处理大量的任务,我们回顾了在线、并行和分布式的MTL模型。对于高维空间中的数据,引入特征选择、降维和特征哈希作为处理这些数据的重要工具。MTL作为一种很有前途的学习范式,在计算机视觉、生物信息学、健康信息学、语音、自然语言处理、web等领域有着广泛的应用。从理论分析的角度,对MTL的相关工作进行回顾。最后,讨论了MTL的未来发展方向。

成为VIP会员查看完整内容
0
36

来自阿肯色大学zhang lu 博士介绍《因果发现和因果推理》的Slides。

因果分析的黄金法则是:没有任何因果论断可以纯粹通过统计方法建立起来。

成为VIP会员查看完整内容
0
35

深度神经网络泛化的神秘能力被认为源于隐式正则化,一种基于梯度的优化的趋势,以拟合训练数据与低复杂度的预测器。“形式化这种直觉的一个主要挑战是,我们缺乏对复杂性的度量,既要量化,又要捕捉承认泛化的数据的本质(图像、音频、文本等)。考虑到这一挑战,我将介绍最近的隐式正则化在矩阵分解(等价于线性神经网络)和张量分解(等价于某种类型的非线性神经网络)中的分析。通过动态描述,我将建立隐式的低秩正则化,不同于任何类型的范数最小化,与先前的信念相反。然后,由于张量秩捕获非线性神经网络的隐式正则化,我将建议将其作为复杂度的度量,并表明在拟合标准数据集时它保持极低的水平。这就产生了张量秩解释神经网络的隐式正则化和将其转化为泛化的真实数据的特性的可能性。

http://www.ipam.ucla.edu/abstract/?tid=16593&pcode=TMWS1

目录:

1 深度学习隐式正则化 Implicit Regularization in Deep Learning

2 矩阵分解 Matrix Factorization

3 CP张量分解 CP Tensor Factorization

4 张量秩 Tensor Rank as Measure of Complexity

5 结论 Conclusion

成为VIP会员查看完整内容
0
34

人工智能技术是使人造机器具备类人类智能、模拟人类学习、认知、感知能力的信息技术,感知层人工智能技术发展成熟,多项应用方案实现规模落地,认知层人工智能技术将是实现下一代人工智能技术突破的关键。

中国工业领域人工智能技术渗透率较低,人工智能技术的应用主要集中于产品生产环节。工业领域各应用场景可用样本数量的缺乏,是工业领域人工智能技术实现落地的主要制约因素之。

机器视觉技术在工业领域中应用广泛,核心功能包括产品识别、测量、定位及检测,是实现产品分拣、装配、搬运、质检等多个生产环节智能化转型的核心技术,相较于人工生产具备降本增效等显著优势。

中国工业领域人工智能行业产业链上游以传感器及AI芯片制造商与AI算法提供商为主体,产业链中游以辅助研发系统及智能生产系统提供商与工业机器人制造商为主体,产业链下游涵盖工业领域各细分市场。

但是中国工业传感器行业发展进入成熟期,主要增长动力来自于工业制造规模的增长与智能制造的应用,受制于人工智能技术在工业领域的渗透率增长速度较低,短期内中国工业传感器市场需求增长速度预计将持续下行。

CMOS图像传感器成为图像传感器应用市场主流应用选择;全球CMOS图像传感器市场集中度较高,垄断效应明显,龙头企业占据高端CMOS图像传感器市场主导地位,对下游客户具备较强主动议价能力。

应用于AI算法运行的处理器芯片以GPU、FPGA及ASIC三类芯片为主;发展起步较早的GPU芯片已实现规模化应用,具备更强的性能及更低的功耗的高度定制化ASIC芯片市场发展空间较大。

成为VIP会员查看完整内容
0
34

这本书描述了如何创建能够自主执行任务的行为和认知技的机器人,而他们与环境互动,通过进化和/或学习过程。本书专注于无模型的方法,以最少的人为干预,机器人使用的行为解决了它的任务,这种行为产生的方式是由自适应过程自动发现的,即它不是由实验者指定的。

https://bacrobotics.com/

这本书的第一个目标是介绍自主机器人和自适应方法:进化机器人,强化学习,和通过演示学习。在这方面,本书不能也不打算详尽无遗。它侧重于当前最有效的方法,以及那些密切相关但通常在独立的研究团体中独立研究的方法之间的关系。

第二个目标是通过对自适应机器人在具体实验中发现的行为和认知解决方案的分析来说明具身智能的基本方面:机器人的身体和“大脑”之间的关系,感觉运动协调的作用,欠驱动的后果,行为的动力和多层次的含义,鲁棒性的重要性,出现和自组织的作用,学习经验对适应过程的影响,预测和世界模型的作用,机器人之间的合作和竞争的作用,能够促进持续和开放学习的因素。

最后,第三个目标是让读者通过实验自适应机器人来获得实际知识。这个最终目标是通过向读者介绍易于使用和强大的软件工具来实现的,允许创建自适应机器人,复制代表性的最先进的实验,并获得在这个领域进行高质量研究所需的实践技能。

Preface

  1. Autonomous Robots
  2. From Braitenberg's Vehicles To Neuro-Robots
  3. Embodiment
  4. Situatedness
  5. Behavior And Cognition As Complex Dynamical Systems
  6. Adaptation
  7. Robustness, Plasticity and Antifragility
  8. Swarm Robotics
  9. Communication and Language
  10. Neural Basis of Cognition
  11. Cognition
  12. Long-Term and Open-Ended Learning
  13. How to Train Robots Through Evolutionary And Reinforcement Learning Algorithms
成为VIP会员查看完整内容
0
33

纯python实现的金融计算库,目标是提供进行量化交易必要的工具,包括但不限于:定价分析工具、技术分析指标。其中部分实现参考了quantlib。

https://github.com/alpha-miner/Finance-Python

可以实现复合运算的指标库,方便的与pandas结合;

基于日历的金融日期计算,包括在不同市场下的节假日安排;

资产组合优化函数(实验阶段,功能有限并且在未来可能会有大幅度修改);

一些金融产品的定价模型(功能有限)。

成为VIP会员查看完整内容
0
32

近年来,人工智能领域,在开发人工智能系统方面取得了巨大进展,这些系统可以从大量精心标记的数据中学习。这种监督学习范式在训练专门的模型方面性能极好,在它们训练的任务上往往能够获得极高的性能表现。

但不幸的是,仅靠监督学习,人工智能领域难以走远。

监督学习在构建更智能的通用模型上存在本质上的瓶颈,例如处理多任务问题,或者通过大量存在的无标签数据学习新技能等。实际上,我们不可能对世界上一切事物都做标注;即使可以标注,但数量也可能并不足够,例如低资源语言翻译任务。

如果人工智能系统能够在训练数据集之外,对现实世界能够有更深入、更细致的理解,显然它们将更有用,最终也将使人工智能更接近人类层面的智能。

人类婴儿学习世界运作,主要是通过观察。我们会通过学习物体的持久性、重力等概念,从而形成关于世界上物体的广义预测模型。在随后的人生里,我们不断观察世界,然后对它进行作用,然而再观察作用的效果等等,通过反复尝试,从而建立假设,解释我们的行动如何能够改变我们的环境。

一种有效的假设是,人类和动物的生物智能,主要的成分是由关于世界的普遍知识或常识构成的,这种常识在生物智能中会被默认为自然而存在的背景。但对于人工智能来说,如何构建这种常识却一直是一个开放的挑战难题。在某种程度上,常识正是人工智能的暗物质。

常识可以帮助人们学习新技能,而无需为每项任务做大量的监督训练。

例如,我们只需要给小孩子看几张奶牛的图画,他们以后便可以轻松地识别出任何奶牛。相比之下,经过监督学习训练的人工智能系统,则需要许多奶牛的标注图像,即使这样,训练出的模型在一些特殊情况下,依然无法做出准确判断。

人类通过 20 个小时的练习,便能够学会驾驶汽车,但人类司机数千小时的数据却无法训练出一个很好的自动驾驶系统。

答案很简单:人类借助了他们以前获得的关于世界如何运作的背景知识。

我们如何让机器也能这样做呢?

我们认为,自我监督学习(self-supervised learning)是建立这种背景知识和近似人工智能系统中一种常识的最有前途的方法之一。

自我监督学习使人工智能系统能够从数量级更大的数据中学习,这对于识别和理解世界更微妙、更不常见的表示模式很重要。

长期以来,自我监督学习在推进自然语言处理(NLP)领域取得了巨大成功,包括 Collobert-Weston 2008 model,Word2Vec,GloVE,fastText 以及最近的BERT,RoBERTa,XLM-R等。通过这些方法训练的系统,会比以监督学习的方式训练的系统,性能要高得多。

我们最新的研究项目 SEER 利用 SwAV 和其他方法,在10亿张随机的未标记图像上预训练了一个大型网络,在各种视觉任务上获得了最高的精度。这一进展表明,在复杂的现实环境中,自监督学习也可以在 CV 任务中有出色表现。

在接下来的这篇文章中,我们将讲述,为什么自监督学习可能有助于解开智能暗物质,以及为什么它将是人工智能的下一个前沿。我们也将列出一些有前途的新方向,包括:在存在不确定性的情况下,基于能量的预测模型、联合嵌入方法、人工智能系统中用于自监督学习和推理的隐变量体系结构等。

目录内容: 人类和动物如何快速学习? 自监督学习 基于能量的模型 EBM Architectures for multimodal prediction Non-Contrastive EBM Training Architectural EBM Generative Regularized Latent-Variable Architectures Amortized Inference: Learning to predict the latent variable

成为VIP会员查看完整内容
0
31

由工信部中国电子技术标准化研究院牵头编写的2020年《数字孪生应用白皮书》在中国国际高新技术成果交易会发布,作为新基建背景下的重要研究成果,该白皮书对当前我国数字孪生的技术热点、应用领域、产业情况和标准化进行了分析,同时收录了在智慧城市、智慧交通、智慧能源、智慧建筑、智能制造、智慧健康6大领域的31个应用案例。

此次白皮书重点考察了我国数字孪生应用的发展现状与趋势,并指出数字孪生将从以下六个应用层面推动我国经济社会的发展:

一是促进数字经济与实体经济融合,加快产业升级

二是贯通工业生产信息孤岛,释放数据价值

三是统筹协调系统内外部变化,实现资源能源优化配置

四是实现全要素数字化,推动新型智慧城市建设

五是优化城市设计布局,打造科学公共服务体系

六是基于医疗大数据合理分配医疗资源,提升公共健康保障效率

https://pdf.dfcfw.com/pdf/H3_AP202011231431940763_1.pdf?1606214310000.pdf

成为VIP会员查看完整内容
0
31

2021年国际万维网大会The Web Conference(旧称WWW)将于2021年4月19日-23日线上召开。TheWebConf是中国计算机学会(CCF)推荐的A类国际学术会议,是互联网技术领域最重要的国际会议之一,由国际万维网会议委员会(IW3C2)和主办地地方团队合作组织,每年召开一次,今年是第30届会议。本次会议共接收1736篇提交长文,最终录用357篇,录用率为20.6%。

许多真实的数据以非网格对象的形式出现,例如从社交网络到分子的图表。从类似网格的数据(如图像)到图的深度学习最近受到了机器学习和数据挖掘领域前所未有的关注,导致了一个新的跨领域领域——深度图学习(DGL)。DGL的目标不是繁杂的特征工程,而是以端到端的方式学习图的信息表示。它在节点/图分类、链路预测等任务中表现出了显著的成功。

虽然之前的几个教程已经在webconf中介绍了图神经网络(GNNs),但很少关注DGL算法的表达性、可训练性和泛化。为了使DGL更加流行和先进,本教程主要介绍DGL近年来的主要成就。具体来说,我们将讨论四个基本的主题,即如何高效地设计和训练深度GNNs,如何采用GNNs来应对大规模图,对GNNs的对抗性攻击,以及对GNNs的无监督训练。同时,我们将介绍DGL在不同领域的应用,包括但不限于药物发现、计算机视觉、社会网络分析等。

目录内容: 09:00 - 09:10: Opening 09:10 - 09:50: Preliminaries and Brief History of Graph Neural Networks 09:50 - 10:25: Training Deep GNNs 10:25 - 10:30: Break 10:30 - 10:50: Scalability of GNNs 10:50 - 11:20: Robustness of GNNs 11:20 - 11:45: Self/Un-Supervised Learning of GNNs 11:45 - 11:50: Break 11:50 - 12:10: Other advanced topics 12:10 - 12:40: Applications 12:40 - 12:50: Future Directions

https://ai.tencent.com/ailab/ml/WWW-Deep-Graph-Learning.html

成为VIP会员查看完整内容
0
29
Top