随着网络信息的爆炸式增长,推荐系统在缓解信息过载方面发挥了重要作用。由于推荐系统具有重要的应用价值,这一领域的研究一直在不断涌现。近年来,图神经网络(GNN)技术得到了广泛的关注,它能将节点信息和拓扑结构自然地结合起来。由于GNN在图形数据学习方面的优越性能,GNN方法在许多领域得到了广泛的应用。在推荐系统中,主要的挑战是从用户/项目的交互和可用的边信息中学习有效的嵌入用户/项目。由于大多数信息本质上具有图结构,而网络神经网络在表示学习方面具有优势,因此将图神经网络应用于推荐系统的研究十分活跃。本文旨在对基于图神经网络的推荐系统的最新研究成果进行全面的综述。具体地说,我们提供了基于图神经网络的推荐模型的分类,并阐述了与该领域发展相关的新观点。

摘要:

随着电子商务和社交媒体平台的快速发展,推荐系统已经成为许多企业不可缺少的工具[78]。用户依靠推荐系统过滤掉大量的非信息,促进决策。一个高效的推荐系统应该准确地捕捉用户的偏好,并提出用户潜在感兴趣的内容,从而提高用户对平台的满意度和用户留存率。

推荐系统根据用户的兴趣和物品属性来评估他们对物品的偏好。用户兴趣和项目属性都用压缩向量表示。因此,如何通过历史交互以及社会关系、知识图谱[49]等侧面信息来了解用户/项目嵌入是该领域面临的主要挑战。在推荐系统中,大多数信息都具有图结构。例如,用户之间的社会关系和与项目相关的知识图谱,自然就是图形数据。此外,用户与项目之间的交互可以看作是二部图,项目在序列中的转换也可以构建为图。因此,图形学习方法被用来获得用户/项目嵌入。在图学习方法中,图神经网络(graph neural network, GNN)目前受到了极大的追捧。

在过去的几年里,图神经网络在关系提取和蛋白质界面预测等许多应用领域取得了巨大的成功[82]。最近的研究表明,推荐器在以图[41]的形式引入用户/项目和边信息的交互时,性能有了很大的提升,并利用图神经网络技术得到了更好的用户/项目表示。图神经网络通过迭代传播能够捕捉用户-项目关系中的高阶交互。此外,如果社会关系或知识图谱的信息是可用的,则可以有效地将这些边信息集成到网络结构中。

本文旨在全面回顾基于图神经网络的推荐系统的研究进展。对推荐系统感兴趣的研究者和实践者可以大致了解基于图神经网络的推荐领域的最新发展,以及如何利用图神经网络解决推荐任务。本调查的主要贡献总结如下:

  • 新的分类法:我们提出了一个系统的分类模式来组织现有的基于图神经网络的推荐模型。我们可以很容易地进入这个领域,并对不同的模型进行区分。

  • 对每个类别的全面回顾,我们展示了要处理的主要问题,并总结了模型的总体框架。此外,我们还简要介绍了代表性模型,并说明它们是如何解决这些问题的。

  • 我们讨论了当前方法的局限性,并在效率、多图集成、可扩展性和序列图构造方面提出了四个潜在的未来方向。

成为VIP会员查看完整内容
0
76
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

《概率论:理论与实例》,包含优秀的例子与有趣(又富有挑战性)的习题很好地协助了理论的延伸。这些例子也许并没有被完全应用于实际,但却清楚地解释了前面的理论。而且,是的,仅靠前面的理论与例题不足以解决所有习题。你需要想更多,解决问题也许需要用到之前的习题——但这不正是真正的数学研究的样子吗?你永远不会知道从哪能找到答案。

https://www.cambridge.org/hk/academic/subjects/statistics-probability/probability-theory-and-stochastic-processes/probability-theory-and-examples-5th-edition?format=HB&isbn=9781108473682

成为VIP会员查看完整内容
0
50

知识表示和推理是人工智能挑战的核心: 要充分理解智能和认知的本质,使计算机能够表现出类似人类的能力。早在1958年,约翰·麦卡锡(John McCarthy)就考虑过可以运用常识的人工智能系统。从这些早期工作中,研究人员确信(人工)智能可以被形式化为具有明确知识表征的符号推理,而研究的核心挑战是弄清楚如何在计算机中表示知识,并使用它的算法来解决问题。

多年以后,这本书调研了构成知识表示和推理领域的大量科学和工程见解。在三个方面取得了进展。首先,研究人员探索了知识表示和推理的一般方法,解决了跨越应用领域的基本问题。其次,研究人员开发了专门的知识表示和推理方法来处理核心领域,如时间、空间、因果关系和行动。第三,研究人员处理了知识表示和推理的重要应用,包括查询回答、规划和语义网。因此,本书分为三个部分来涵盖这些主题。

https://www.elsevier.com/books/handbook-of-knowledge-representation/van-harmelen/978-0-444-52211-5

第一部分主要介绍人工智能系统中表示知识的一般方法。它从经典逻辑和定理证明的背景开始,然后转向扩展经典逻辑的新方法——例如,处理定性的或不确定的信息——并改进其计算可处理性。

  • 第一章通过调研自动化推理的经典逻辑和方法,为后面章节提供了背景知识。
  • 第二章描述了可满足性(SAT)求解器的显著成功。研究人员发现,这类自动推理可以用于越来越多的实际应用,而且效率惊人。
  • 第三章回顾了描述逻辑的研究,提供了用术语知识表示和推理的方法。描述逻辑是语义Web表示语言的核心。
  • 第四章描述了约束规划,一个解决组合搜索问题的强大范例。这种类型的知识表示和推理结合了来自人工智能、运筹学、算法和图论的广泛技术。
  • 第五章回顾了在概念图方面有影响的研究。这种结构化的表示提供了一种表达性语言和强大的推理方法,这对于自然语言理解等应用程序是必不可少的。
  • 第六章介绍了非单调逻辑,它处理与处理一般规则异常相关的复杂问题。这些逻辑被称为“非单调”,因为它们描述了当考虑到额外的异常时从知识库撤回信息的情况。
  • 第七章建立在上一章的基础上,描述了答案集逻辑,它巧妙地处理了默认规则和例外,以及它们所产生的非单调推理。这种逻辑形式也支持关于行为的因果效应的推理——常识的另一个关键特征。
  • 第八章通过对信念修正技术的调查继续了这个主题,也就是说,一个主体是如何根据与之前的信念相矛盾的新信息改变其知识库的。
  • 第九章解释了连续系统定性模型的作用。这些模型实现了常识的另一个关键特征: 使用不完整信息进行推理。这种推理形式可以计算,例如,一个系统可能的未来状态,这是重要的许多任务,如诊断和辅导。
  • 第十章证明了这些理论和技术为问题解决者建立了基础,这些解决者利用系统行为的明确模型来完成诸如设计、测试和诊断等任务。这种基于模型的问题解决器以基本原理知识和具有正式逻辑基础的推理引擎为基础,而不是与特定实例和情况相关联的经验,实现了知识表示和推理技术的工业应用所需的能力和健壮性。
  • 第十一章直面现实世界领域中不可避免的不确定性问题,并调查了贝叶斯网络作为一种建模和基于不确定信念进行推理的方法的广泛研究。

第二部分探讨了用知识的一些核心领域(包括时间、空间、因果关系和行动)来表示和推理的特殊挑战。这些挑战在应用程序领域中普遍存在,因此解决方案必须是通用的和可组合的。

  • 第十二章讨论了如何表示一个不断变化的时序世界。在这个贯穿本节的主题中,这提出了各种有趣的本体论问题——比如时间应该用点还是间隔来建模,以及在什么层次上粒度化——以及这些决定的实际后果。
  • 第十三章调研了空间的定性表示,包括拓扑、方向、形状、大小和距离,以及适用于每个空间的推理方法。虽然没有单一的理论涵盖这些主题全面,研究人员已经产生了一个强大的工具包。
  • 第十四章建立在前两章的基础上,并对定性建模进行了研究,以解决一般的物理推理问题。发展了两个重要的领域理论(液体和固体),并探讨了在替代模型之间转换的关键问题。
  • 第十五章调研了一个主体的知识和信念的表现,包括关于其他主体的知识状态的命题(例如,“汤姆相信玛丽知道……”)。这种工作可以很好地扩展到在智能体社区中处理公共知识和分布式知识。
  • 第十六章考察了“情境演算”的悠久历史——为处理动态世界而设计的知识表示。麦卡锡和海斯首先定义的情形是“宇宙在某一时刻的完整状态”。因为情境是可以被量化的一阶对象,这个框架已经被证明是关于变化的推理的一个强有力的基础。
  • 第十七章描述了事件演算作为一种情景演算的替代,它具有一些额外的好特性。特别是,事件演算有助于表示连续事件、不确定性影响、持续时间事件、触发事件等等。
  • 第十八章通过引入时态动作逻辑,继续开发为动态世界设计的表示语言。这个语言家族特别适合于推理持久性,也就是说,世界上的特性会随着时间的推移而不变,直到一个动作影响到它们。它简化了不确定性动作、有持续时间的动作、并发动作和动作的延迟效果的表示,部分原因是它使用了显式时间,并且它将自动计划器与形式主义紧密地结合在一起。
  • 第十九章关注于非单调因果逻辑,它使用框架问题的强解决方案来处理动态世界。这一逻辑始于这样的假设:每件事都有一个原因:要么是先前的动作,要么是惯性(持久性)。这导致了一些关键问题的很好的形式化,比如分支、隐含的操作前提条件和操作的并发交互影响。

第三部分介绍了知识表示和推理的重要应用。应用领域涵盖了人工智能的广度,包括问题回答、语义网、计划、机器人和多智能体系统。每一项应用都广泛借鉴了第一部分和第二部分中所述的研究结果。

  • 第二十章调研了问答系统。这些系统会回答相关文档的问题,在某些情况下,还会回答常识信息的知识库。该系统的挑战是选择相关的文本段落(一个信息检索任务),解释它们(一个自然语言理解任务)和推断问题的答案(一个推理任务)。
  • 第二十一章回顾了语义网的发展:万维网的一个扩展,在它的内容是用一种正式的语言表达的,使软件代理能够发现、整合和推理它。这带来了许多挑战,包括将知识表示方法缩放到Web的大小。
  • 第二十二章调查了自动化规划的进展,这使得这些系统比早期人工智能的“经典规划”更加强大。例如,新框架支持不确定性操作和部分可观察性,这是现实领域的重要属性。
  • 第二十三章将知识表示和推理扩展到一个新的方向:认知机器人。这一应用的挑战在于,机器人的世界是动态的、不完全已知的,这需要重新思考传统的人工智能任务方法,比如规划,以及耦合高级推理和低级感知。
  • 第二十四章对多智能体系统的研究进行了调查,其中每个智能体代表和推理环境中的其他智能体是很重要的。当代理有不同的,或者更糟的——冲突的目标时,这就特别具有挑战性。
  • 第二十五章描述了知识工程的工具和技术:如何获得可以用其他章节中描述的形式来表达的知识。

此外,这25章,组织在三个部分“一般方法”,“专门的表示和“应用”,提供了一个独特的调研,最好的知识表示已经取得,由帮助塑造领域的研究人员写。我们希望学生,研究人员和从业者在所有领域的人工智能和认知科学将发现这本书是一个有用的资源。

成为VIP会员查看完整内容
0
44

摘要:随着计算机行业和互联网时代的不断发展与进步,图神经网络已经成为人工智能和大数据重要研究领域。图神经网络是对相邻节点间信息的传播和聚合的重要技术,可以有效地将深度学习的理念应用于非欧几里德空间的数据上。简述图计算、图数据库、知识图谱、图神经网络等图技术领域的相关研究历史,分类介绍不同类型的图结构。分析对比不同的图神经网络技术,重点从频域和空间与的信息聚合方式上分类比较不同的图卷积网络算法。阐述图生成和图对抗网络、图强化学习、图迁移学习、神经任务图和图零样本学习等不同的图网络与深度学习方法相结合的技术方法,并列举不同的图神经网络技术在文本、图像、知识图谱、视频任务等领域的具体应用。最后,对图神经网络未来的发展与研究方向加以展望。

https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CAPJ&dbname=CAPJDAY&filename=JSJC20201123000&v=fpDLQvPDFGeYvQeSgmnh5h1YpkO6G1W6SQqt4w%25mmd2B%25mmd2BnZtjD3h80wKsQ5NhpJeXgtGI

概述

近年来随着计算机行业的快速发展和数据量的井喷式增长,深度学习方法被提出并得到了广泛的 应用。深度学习通过神经网络端到端的解决方案, 在图像处理、语音识别、语义理解[1]等领域取得了 巨大的成功,深度学习的应用往往都是在高维特征 空间上特征规则分布的欧几里德数据。作为一种关 系型数据结构,图(Graph)在深度学习中的应用研究近年来受到越来越多的关注,本文将图的演进历程分为数学起源、计算应用、神经网络延伸三个阶段。

图的概念起源于 18 世纪著名的柯尼斯堡七桥问 题,到了 20 世纪中期,拟阵理论、超图理论、极图 理论等研究蓬勃发展,使得图论(Graph Theory)[2] 在电子计算诞生前,就已经成为了重要的数学研究领域。

随着计算机的出现和机器计算时代的到来和发 展,图作为一种能够有效且抽象地表达信息和数据 中的实体以及实体之间关系的重要数据结构被广泛应用,图数据库有效解决了传统的关系型数据结构 面对大量复杂的数据所暴露出的建模缺陷多、计算速度慢等问题,图数据库也成为了非常热门的研究 领域。图结构(Graph-structured Data)[3]可以将结构化数据点通过边的形式,依照数据间的关系将不同类型和结构的数据节点连接起来,因而被广泛地应用在数据的存储、检索以及计算应用中。基于图结构数据,知识图谱[4-7]可以通过点和边的语义关系, 来实现精确地描述现实世界中实体之间的关联关系, 作为人工智能非常重要的研究领域,知识图谱的研究方向包括知识抽取、知识推理、知识图谱可视化等。图计算(Graph Computing)具有数据规模量大、 局部性低、计算性能高等特性,图计算算法[8-9]主要 可以分为路径搜索算法、中心性算法、社群发现算法等三类,实现了在关系复杂型的大规模数据上高 时效性和准确度的表现,在社交网络、团体反欺诈 和用户推荐等领域有着重要的应用。

与已经非常成熟图计算不同,图神经网络 (Graph Neural Network)的研究主要是集中在相邻节点信息的传播与聚合上,从图神经网络的概念提 出,到受深度学习中卷积神经网络的启发,2013 年 提出的基于图论的图卷积神经网络 [10-11]研究方向吸 引了大量学者关注。2018 年 DeepMind 提出图网络 (Graph Network)[12]的概念,希望能够将深度学习 端到端的学习方式与图结构关系归纳推理的理论结 合解决深度学习无法处理关系推理的问题。针对图 神经网络存在的问题,不同的学者们也给出了不同 的方案,随着对图神经网络这一新兴领域更加深入 的研究与探索,人工智能领域的版图将得到更大扩展。

文献[12]在关系归纳偏置和深度学习的研究基础 上,提出了面向关系推理的图网络概念并进行了综 述,但未对不同图网络技术进行分类和对比。文献 [13]从半监督、无监督方法的角度对图结构上的深度 学习进行了综述,但缺少相近的分类和应用的讨论。文献[14]主要从传播规则、网络结构等角度分析了图神经网络的不同模型以及应用。文献[15]则是详细对 比了时域和空间的不同图卷神经网络方法结构,但没有对图神经网络之于深度学习领域的探讨,如图强化学习、图迁移学习等。本文针对图神经网络, 分析对比了六种图神经网络方法的优劣,首次对处 理异构图数据的图神经网络技术进行了讨论和研究, 综述了五类图神经网络的研究领域,并对未来的发展方向进行了展望。

成为VIP会员查看完整内容
0
44

通过学习可观测数据的概率密度而随机生成样本的生成模型在近年来受到人们的广泛关注, 网络结构中包含多个隐藏层的深度生成式模型以更出色的生成能力成为研究热点, 深度生成模型在计算机视觉、密度估计、自然语言和语音识别、半监督学习等领域得到成功应用, 并给无监督学习提供了良好的范式. 本文根据深度生成模型处理似然函数的不同方法将模型分为三类: 第一类方法是近似方法, 包括采用抽样方法近似计算似然函数的受限玻尔兹曼机和以受限玻尔兹曼机为基础模块的深度置信网络、深度玻尔兹曼机和亥姆霍兹机, 与之对应的另一种模型是直接优化似然函数变分下界的变分自编码器以及其重要的改进模型, 包括重要性加权自编码和可用于半监督学习的深度辅助深度模型; 第二类方法是避开求极大似然过程的隐式方法, 其代表模型是通过生成器和判别器之间的对抗行为来优化模型参数从而巧妙避开求解似然函数的生成对抗网络以及重要的改进模型, 包括WGAN、深度卷积生成对抗网络和当前最顶级的深度生成模型BigGAN; 第三类方法是对似然函数进行适当变形的流模型和自回归模型, 流模型利用可逆函数构造似然函数后直接优化模型参数, 包括以NICE为基础的常规流模型、变分流模型和可逆残差网络(i-ResNet), 自回归模型(NADE)将目标函数分解为条件概率乘积的形式, 包括神经自回归密度估计(NADE)、像素循环神经网络(PixelRNN)、掩码自编码器(MADE)以及WaveNet等. 详细描述上述模型的原理和结构以及模型变形后, 阐述各个模型的研究进展和应用, 最后对深度生成式模型进行展望和总结.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190866

受益于当前计算机性能的快速提升, 学习可观测样本的概率密度并随机生成新样本的生成模型成为热点. 相比于需要学习条件概率分布的判别模型, 生成模型的训练难度大、模型结构复杂, 但除了能够生成新样本外, 生成模型在图像重构、缺失数据填充、密度估计、风格迁移和半监督学习等应用领域也获得了巨大的成功. 当前可观测样本的数量和维数都大幅度增加, 浅层的生成模型受到性能瓶颈的限制而无法满足应用需求, 从而被含有多个隐藏层的深度生成模型替代, 深度生成模型能够学习到更好的隐表示, 模型性能更好. 本文对有重要意义的深度生成模型进行全面的分析和讨论, 对各大类模型的结构和基本原理进行梳理和分类. 本文第1节介绍深度生成模型的概念和分类; 第2节介绍受限玻尔兹曼机和以受限玻尔兹曼机为基础模块的几种深度生成模型, 重点内容是各种模型的不同训练算法; 第3节介绍变分自编码器的基本结构、变分下界的推理和重参数化方法; 第4节介绍生成对抗网络, 主要内容为模型原理、训练方法和稳定性研究, 以及两种重要的模型结构; 第5节总结了流模型的结构, 详细介绍了流模型的技术特点; 第6节分析了自回归模型的模型结构以及几种重要分支的研究进展; 第7节将介绍生成模型中的两个小分支: 矩阵匹配模型和随机生成模型; 第8节对深度生成模型存在的问题进行分析讨论, 并对未来的研究方向和发展趋势做出了展望.

成为VIP会员查看完整内容
0
43

第四届世界智能大会在津召开期间,中国新一代人工智能发展战略研究院发布了《中国新一代人工智能科技产业发展报告•2020》和《中国新一代人工智能科技产业区域竞争力指数•2020》。报告指出,中国人工智能科技产业发展已经步入融合产业部门主导的新阶段。人工智能和实体经济的深度融合正在成为驱动中国经济转型升级和可持续发展的动力源泉。

  据中国新一代人工智能发展战略研究院首席经济学家、南开大学经济研究所所长刘刚介绍,作为第四次工业革命的引擎,人工智能技术属于典型的通用技术(General Purpose Technologies)。从前三次工业革命发生发展的历程看,通用技术只有与经济社会全球融合的条件下,才能成为带动经济长期发展的驱动力量。通用技术创新和产业化创造出前所未有的“关键生产要素”,例如,第一次工业革命的蒸汽机和第二次工业革命的电力。“关键生产要素”具有广泛的应用领域、低成本和无限供给的特征。当“关键生产要素”被广泛投入到现有产业,不断提高企业和产业的生产力水平,才能带来经济和社会的长期发展。例如,作为第二次工业革命通用技术的电力,从照明到生产流程的改造再到以电力为能源的生活用品的普及,在与经济社会融合的过程中,不仅带来了社会生产力的大幅跃升,而且改变了人类的生产和生活方式。

  第四工业革命的核心技术是包括互联网、物联网、大数据、云计算、区块链、5G和人工智能在内的新一代信息技术。新一代信息技术的产业化使“数据和计算”成为第四次工业革命的“关键生产要素”。数据是网络空间的所有存在物,是网络空间对物理和社会空间映射的产物。网络空间及其与物理和社会空间的互动和融合产生海量数据,大数据、云计算和区块链技术解决了数据的采集、整理、存储和分析。人工智能则实现了数据的精准匹配、仿真模拟和优化控制。作为新型基础设施建设的重要内容,5G保证了网络空间的发展和数据的瞬时传输。新一代信息技术的发展使“数据和计算”成为类似蒸汽机和电力一样的廉价投入品,为赋能和改造现有产业创造条件。

  作为通用技术,在人工智能科技产业的发展过程中,形成了两个主要产业部门:核心产业部门和融合产业部门。核心产业部门是指包括人工智能在内的新一代信息技术产业化过程中创造的新兴产业部门。核心产业部门产出“数据和计算”。而融合产业部门则是人工智能与实体经济融合发展过程中创造的产业部门,例如,智能制造、智能交通、新零售、新媒体和数字内容产业。融合产业部门把“数据和计算”作为投入品,产出则是我们日常生产和生活中的智能化产品。

  中国新一代人工智能发展战略研究院对人工智能科技产业的动态追踪研究表明,随着核心产业部门的发展和核心技术的成熟,面对新冠疫情的冲击和包括5G在内的新型基础设施建设步伐的加快,中国的人工智能科技产业开始步入融合产业部门主导的新发展阶段。

  首先,从797家中国人工智能骨干企业中的581家应用层企业的应用领域分布看,人工智能技术已经广泛分布在十八个应用领域。其中,企业技术集成与方案提供、智能机器人两个应用领域的企业数占比最高,分别为15.43%和9.66%。关键技术研发和应用平台、新媒体和数字内容、智能医疗、智能硬件、金融科技、智能商业和零售和智能制造领域企业数占比相对较高,分别为8.91%、8.91%、7.65%、7.03%、6.65%、6.52%、6.15%。智能农业的占比最低,仅为0.75%。企业技术集成与方案提供和关键技术研发及应用平台占比排名第一和第三位,说明在人工智能与实体经济的融合发展过程中,技术集成和应用方案提供发挥着至关重要的作用。而智能机器人企业数排名第二则说明制造业的智能化是人工智能发展的迫切需求。

  在581家人工智能样本企业中,可获得577家企业截至2019年底的融资数据。通过577家企业所属产业领域的融资额占比,可以看出哪些应用领域更受资本的青睐。从人工智能应用领域企业融资额的分布看,智慧零售、新媒体和数字内容、智慧金融类应用领域的融资额最高,占比分别为18.37%、15.96%和15.94%。除此以外,关键技术研发和应用平台、智慧交通、智能硬件融资额占比在5%以上,属于占比较高的应用领域。

  其次,人工智能基础和技术层企业通过与实体经济企业的协同,共同构建产业智能化创新生态,推动人工智能与实体经济的融合发展。其中,最为典型的是智能安防产业的发展。在传统安防产业智能化的过程中,围绕着视频数据结构化、智能终端和边缘计算在内的关键技术突破,形成了富有活力的产业创新生态系统。在智能制造、智能医疗、智能交通、金融科技和智能教育等领域,都出现了产业智能化创新生态系统。适合于特定产业领域智能化的创新生态系统建设,成为人工智能与实体经济深度融合发展的标志。

  第三,处于“极化”中的人工智能核心产业部门企业,通过与其他地区优势产业企业的合作,通过技术“扩散”,推动人工智能与实体经济的融合发展。该报告基于15家人工智能开放创新平台和4家计算机视觉独角兽公司的技术“扩散”数据分析表明,通过与其他地区优势产业的合作,共同推动人工智能与实体经济的融合发展。其中,电子信息制造业和汽车制造成为智能化发展的前沿产业。

  最后,传统产业的龙头企业,通过自主创新、技术引进和与核心技术企业合作的方式,转型升级为人工智能企业,成为推动人工智能与传统产业融合发展的主导者。报告基于50家非初始人工智能上市公司的分析表明,传统产业的龙头企业通过智能化转型,与掌握人工智能核心技术的企业共同构建产业创新生态系统,推动产业的智能化。从技术来源看,50家非初始人工智能上市公司主导的融合产业部门的技术来源,主要是核心产业部门的人工智能初创企业,占比为16%。其次是人工智能上市公司,例如,阿里巴巴和科大讯飞,占比为16%,排名第三和第四的分别是非初创人工智能技术公司和独角兽公司,占比为10%和7%。除了平台公司,人工智能初创企业和中小企业是产业智能化的重要技术来源方。

  在系统调查研究的基础上,报告发现,人工智能与实体经济的融合发展,不是简单的技术引进和集成,而是一系列互补性创新和专用技术体系的形成过程。因而,推动人工智能与实体经济融合发展需要创新思维。尤其是对后发地区而言,不能仅仅把工作的重心放在招商引资上,而应当重视通过培育和构建适宜当地产业智能化需求的产业创新生态系统和创新创业环境,通过互补性创新和专用性技术积累,才能通过人工智能与当地优势产业的融合发展过程中,不断提升区域企业和产业竞争力。

成为VIP会员查看完整内容
0
39

注意力是一种在广泛的神经结构中使用的越来越流行的机制。由于这一领域的快速发展,仍然缺乏对注意力的系统概述。在本文中,我们定义了用于自然语言处理的注意力体系结构的统一模型,重点介绍了用于文本数据的向量表示的体系结构。我们讨论了以往工作的不同方面,注意力机制的可能用途,并描述了该领域的主要研究工作和公开挑战。

https://web.eecs.umich.edu/~justincj/slides/eecs498/FA2020/598_FA2020_lecture13.pdf

成为VIP会员查看完整内容
0
37

来自MIT Gilbert Strang教授的矩阵经典图解,收藏!

85岁MIT教授Gilbert Strang《线性代数》2020视频课,不怕学不会的线代

成为VIP会员查看完整内容
0
36

11月14日,北京智源人工智能研究院(简称“智源研究院”)召开2020智源论坛,会议期间发布《2020北京人工智能发展报告》(以下简称《报告》)。《报告》从政策支持、科技资源、人才发展、科技成果、服务平台、伦理安全、场景开放、产业生态等十余个维度,系统分析了北京成为中国AI领头羊的内在动因和发展成效,刻画了北京AI发展的17个中国“第一”。

成为VIP会员查看完整内容
0
34

第十九届国际语义网会议(ISWC2020)将于11月1日至6日远程召开。国际语义网会议是全球最重要的且最有影响力的国际学术会议,主要聚焦语义网,知识图谱,本体,链接数据等面向互联网的人工智能技术。国际语义网会议将聚集研究人员,从业人员和行业专家,以讨论、发展和塑造语义网和知识图谱技术的未来。

How to build large knowledge graphs efficiently (LKGT)

构建和管理一个知识图谱需要一些努力和语义技术方面的大量经验。将这个知识图谱转化为解决问题的有用资源需要更多的努力。一个重要的考虑是提供成本敏感的方法来构建一个对各种应用有用资源的知识图谱:“知识图谱细化有两个主要目标: (a)将缺失的知识添加到图谱中。(b)识别知识图谱中的错误信息,即错误检测。(Paulheim等,2017)本教程的目标是从知识存储的知识创建、知识管理到知识部署的过程——使用schema.org和schema.org的领域扩展作为本体应用于知识图谱。本教程将以讲师合著的《知识图谱——方法论、工具和选定用例》(Fensel et al. 2020)为基础,是讲师在SEMANTICS2019和2020年知识图谱会议上发表的教程的扩展和改编版本。

https://stiinnsbruck.github.io/lkgt/

成为VIP会员查看完整内容
0
34

关于本书

Python 专业实践介绍了一些概念,几乎任何语言的软件开发人员都可以使用这些概念来改进他们的工作。在学习了Python语言的基础知识之后,这将是一本很棒的书。

目录

内容介绍

Python专业实践由4个部分共11章组成。第1部分和第2部分提供了简短的例子和练习的讨论。第3部分以前面几章的内容为基础,包含了各种练习。第4部分提供了学习更多知识的策略,以及阅读本书后可以尝试的建议。

第1部分,为什么它是重要的,为Python的崛起和为什么软件设计是有价值的奠定了基础。

  • 第一章介绍了Python的一些近代史,以及为什么我喜欢开发Python程序。它接着解释了软件设计,为什么它很重要,以及它如何在你的日常工作中体现出来。

第2部分,设计基础,涵盖了支撑软件设计和开发的高级概念。

  • 第2章涵盖了关注点分离,这是本书中其他几个内容的基础活动。

  • 第3章解释了抽象和封装,向您展示了隐藏信息和为更复杂的逻辑提供更简单的接口如何帮助您控制代码。

  • 第4章提示您考虑性能,涵盖了不同的数据结构、方法和工具,以帮助您构建快速的程序。

  • 第5章教你如何使用各种方法测试你的软件,从单元测试到端到端测试。

第3部分“锁定大型系统”将引导您使用所学的原则构建实际应用程序。

  • 第6章介绍了你将在书中构建的应用程序,并提供了创建程序基础的练习。

  • 第7章涵盖了可扩展性和灵活性的概念,并包括了向应用程序添加可扩展性的练习。

  • 第8章帮助你理解类继承,提供了应该在何时何地使用类继承的建议。本文继续介绍检查正在构建的应用程序中的继承的练习。

  • 第9章稍退一步,介绍了一些工具和一种方法,可以防止代码在执行过程中变得太大。

  • 第10章解释了松耦合,提供了一些最终练习来减少您正在构建的应用程序中的耦合。

第4部分,接下来是什么?给你一些建议,告诉你接下来该怎么学,学什么。

  • 第11章向您展示了我如何规划新的学习材料,如果您对深入软件开发感兴趣的话,还提供了一些可以尝试的学习领域。

成为VIP会员查看完整内容
0
34

 谷歌是一家取得巨大成功的公司。同它成功的搜索引擎和AdWords一样,谷歌还开发了许多其他杰出的产品,包括谷歌地图、谷歌新闻、谷歌翻译、谷歌语音识别、Chrome和Android等。谷歌同样大大提升和扩展了许多通过收购YouTube等小公司得到的产品,而且对许多开源项目做出了显著的贡献。谷歌还展示了许多将要发布的惊人产品,无人驾驶汽车就在其列。

  谷歌成功的原因有很多:开明的领导、伟大的人物、极高的招聘条件,以及在一个极速增长的市场中成功通过早期确立的领先优势带来的财务实力。还有一个引领谷歌走向成功的原因是,谷歌开发出了杰出的软件工程实践。基于世界上最有才华的软件工程师们智慧的积累和提炼,这些实践随着时间推移一直在进步。我们想要和全世界分享这些实践中的知识,以及我们一路上在犯错中学习到的东西。

  这篇文章旨在简要地记载、描述谷歌关键的软件工程实践。其他组织或个人可以将其与自己的软件工程实践进行比较和对比,考虑是否应用其中的一些实践。

  许多作者(如引用[9]、[10]、[11])都写了书籍或文章来分析谷歌的成功和历史,但其中绝大多数都主要关注商业、管理和企业文化;只有一小部分(如引用[1]、[2]、[3]、[4]、[5]、[6]、[7]、[13]、[14]、[16]、[21])研究过软件工程方面,这些书籍和文章中的大多数都只探讨一个方面;并且所有书籍和文章都没有进行关于谷歌软件工程实践的总结,所以本文将提供一个整体的谷歌软件工程实践概述。  

成为VIP会员查看完整内容
0
31

知识图谱表示学习: 从浅层嵌入到图神经网络

知识图谱由于其广泛的应用,如搜索引擎和问答系统,近年来受到了极大的关注。知识图谱嵌入是将实体表示为低维向量,并将关系表示为低维向量上的算子,在知识推理等任务中得到了广泛的研究和成功的应用。在本教程中,我们将介绍最新的知识图谱表示学习技术,它包含三个部分。首先,我们将回顾通常基于浅层嵌入的知识图谱表示技术,如TransE、DisMult和RotatE。其次,我们将讨论如何集成额外的符号信息,如逻辑规则和本体论,以更好地学习知识图谱的表示的最新进展。在第三部分中,我们将介绍图神经网络(GNNs)和最近在异构信息网络中研究的进展,图神经网络可以被认为是知识图谱的一般形式。

地址: http://sigkg.cn/ccks2020/?page_id=67

成为VIP会员查看完整内容
0
31

深度学习能自动从大样本数据中学习获得优良的特征表达,有效提升各种机器学习任务的性能,已广泛应用于信号处理、计算机视觉和自然语言处理等诸多领域。基于深度学习的医学影像智能计算是目前智慧医疗领域的研究热点,其中深度学习方法已经应用于医学影像处理、分析的全流程。由于医学影像内在的特殊性、复杂性,特别是考虑到医学影像领域普遍存在的小样本问题,相关学习任务和应用场景对深度学习方法提出了新要求。本文以临床常用的X射线、超声、计算机断层扫描和磁共振等4种影像为例,对深度学习在医学影像中的应用现状进行综述, 特别面向图像重建、病灶检测、图像分割、图像配准和计算机辅助诊断这5大任务的主要深度学习方法的进展进行介绍,并对发展趋势进行展望。

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?edit_id=20200923131243001&flag=2&file_no=202006020000002&journal_id=jig

成为VIP会员查看完整内容
0
31

现代机器学习擅长于从固定的数据集和固定的环境中训练出强大的模型,常常超过人类的能力。然而,这些模型未能模拟人类的学习过程,而人类的学习过程是有效的、稳健的,并且能够从非平稳世界的连续经验中逐步学习。对于这一局限性的见解可以从神经网络优化的本质中获得,这意味着持续学习技术可以从根本上提高深度学习,并打开了新的应用领域的大门。持续学习的有前途的方法可以在最细粒度的层次上找到,使用基于梯度的方法,也可以在体系结构层次上找到,使用模块化和基于内存的方法。我们也认为元学习是一个潜在的重要方向。

人工智能研究在过去的几个月中取得了巨大的进步,但它主要依赖于固定的数据集和固定的环境。持续学习是一个日益相关的研究领域,它表明人工系统可能像生物系统一样,从连续不断的相关数据流中有序地学习。在目前的回顾中,我们将持续学习与神经网络的学习动力学联系起来,强调它在稳步提高数据效率方面的潜力。我们进一步考虑了近年来出现的许多受生物学启发的新方法,重点关注那些利用正规化、模块化、记忆和元学习的方法,并强调了一些最有前途和最有影响的方向。

世界不是静止不动的

人工智能成功的一个常见基准是模仿人类学习的能力。我们测量人类识别图像、玩游戏和驾驶汽车的能力,举几个例子,然后开发机器学习模型,如果有足够的训练数据,它可以匹配或超过这些能力。这种范式把重点放在最终结果上,而不是学习过程上,并且忽略了人类学习的一个关键特征:它对不断变化的任务和连续的经验是鲁棒的。人类以这种方式学习也许并不奇怪,毕竟,时间是不可逆的,世界是不稳定的(见词汇表),所以人类的学习已经进化到在动态学习环境中茁壮成长。然而,这种鲁棒性与最强大的现代机器学习方法形成了鲜明的对比,后者只有在数据经过仔细的洗牌、平衡和均质后才能表现良好。这些模型不仅表现不佳,而且在某些情况下,它们会完全失败,或者在早期学习的任务上遭遇快速的性能下降,即所谓的灾难性遗忘。

基于生物系统持续学习基础

对自然世界及其智能物种的研究经常与人工智能研究交叉,包括与持续学习有关的方面[1]。生物学为在复杂环境中成功地持续学习提供了存在证据,也暗示了成功方法的设计原则和权衡。有多种机制使生物系统能够适应不断变化的环境,而不固执或遗忘。因此,在本节中,我们将通过类比来介绍四种持续学习模式,并将每种方法的详细讨论留到后面的章节中。此外,可以通过描述它们的规范模型来简要地描述这些方法,如图1(关键图)所示。

持续学习的定义

持续学习的问题通常是由顺序训练协议和解决方案所期望的特性来定义的。与静态数据集或环境的普通机器学习设置相反,持续学习设置明确地关注非平稳或变化的环境,通常被划分为需要按顺序完成的一组任务。这种设置可能在任务转换(平滑或离散)、任务长度和重复、任务类型(如无监督、监督或强化学习)方面有所不同,或者甚至可能没有定义明确的任务[9-11]。与课程学习相比[12,13],学习者不能控制任务的顺序。

支持现代机器学习的独立同分布假设

神经网络大量利用现代技术来并行计算,同时考虑大量数据;事实上,这种易于伸缩的特性使得它们在过去的十年中成为了语音、视觉和语言应用程序的主流方法。 在典型的学习设置中,目标是通过设置网络的参数来最小化一些损失函数,例如真输出和预测输出之间的误差。基于梯度的学习,最有效的和广泛使用的范式,是一种迭代算法,在每一次迭代,使一个小变化的参数,以减少损失(更详细的解释,见盒2)。这条规则的机制在拔河的动态结果,其中每个数据样本正试图拉动每个参数更大或更小。通过平均梯度,我们因此创建了一个拔河游戏,其中应用于每个参数的更新(因为它是正的或负的)揭示了哪个数据样本赢了或输了。在许多优化步骤上组合许多拔河式更新,可以进行学习(图3)。

基于梯度的解决方案

由前面描述的拔河式学习动态驱动,一种有前途的方法是直接调节不同任务的梯度。这不仅是优化问题的核心,而且是由生物大脑[3]中突触巩固的研究激发的。一种方法是迫使梯度与之前学习任务的梯度保持一致[19,20],消除潜在干扰。这些方法在其他环境中也有好处,例如,在多任务学习中,它们有可能在目标冲突的情况下提高学习效率[21-23]。

模块化架构

模块化的神经网络结构是一种自然有效的解决持续学习中的干扰和灾难性遗忘问题的方法。模块化提供了一个折衷方案,即使用一个容易遗忘的单一单片网络,以及为每个任务使用独立的网络,这既可以防止灾难性遗忘,也可以防止任务之间的转移(参见图1C的模块化架构说明)。模块化在生物系统中也很明显,它支持大脑区域的功能专门化。

人工学习系统的记忆

基于梯度和模块化的方法可能更适合短期的持续学习,而不是长期的记忆。基于梯度的方法不能防止任意长任务序列的遗忘,而模块化方法可以在长时间尺度上保存知识,它们可能在神经网络能力方面达到实际的极限。考虑一下这样一个具有挑战性的场景:在几个月的时间里,把食物藏在1000个不同的地方,然后在更多的食物消失后,正确地找到每一个食物。这个特征是每个冬天都会出现的,比如夜莺、松鸦和鸦类[57]。通过调整一个简单的神经网络的参数来保存存储食物的顺序经验既具有挑战性又效率低下。一个更可伸缩的策略是使用专用的读写内存对空间位置进行编码。

元学习:发现持续学习的归纳偏差

到目前为止所讨论的所有解决方案都规定了用于持续学习的手工设计的机制或架构,归纳偏差。每种归纳偏差都在需求(如良好的知识保留与基于记忆的方法中的正向迁移)之间达成了不同的权衡。值得考虑的是,从数据中学习解决方案,而不是依靠人类的独创性来设计它,是否能够实现更好的权衡。历史上,许多元学习或学习-学习方法已经证明,解决方案可以通过自动学习归纳偏差(如架构、数据和学习参数)来改进,否则需要手工设计(图1E) 。

结论和未来方向

机器学习研究人员经常指出,人类具有快速学习和概括(例如,从几个例子中推断出一个模式)的非凡能力。然而,我们并不经常重新评价人类在一生的教育和经历中不断学习的能力,尽管正是这种能力使人类在科学、艺术和工业上取得成就。这篇文章不仅试图强调持续学习的重要性,而且还暴露了现代神经网络在这方面的局限性,特别是导致效率低下、基于梯度的拔河的信用分配问题。

通过对这一空间的调查,我们发现了一种学习模式,如果扩展到更有雄心的领域,它就有可能发挥真正的影响力。毫不奇怪,这些范式都有很强的平行神经科学和生物系统。基于梯度的方法直接修改了神经网络的操作时间,并被证明可以减少灾难性遗忘。

模块化架构为干扰和灾难性遗忘提供了实用的解决方案,同时通过技能和知识的层次重组实现面向迁移。端到端记忆模型可以成为长时间学习的可扩展解决方案,元学习方法可以超越手工设计的算法和架构。有了这些潜在的积极影响,也必须认识到部署不断变化的机器学习模型所涉及的风险,因为任何安全和预期行为的初始评估都不能轻易地永久保证。然而,通过提高学习算法的长期可靠性,以及通过开发确保某些规则或边界不被违反的架构,持续学习解决方案可以降低这些风险。

成为VIP会员查看完整内容
0
29

自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

视频: https://hub.baai.ac.cn/view/3868

成为VIP会员查看完整内容
0
27

当看到这些材料时,一个明显的问题可能会出现:“为什么还要写一本深度学习和自然语言处理的书呢?”一些优秀的论文已经出版,涵盖了深度学习的理论和实践方面,以及它在语言处理中的应用。然而,从我教授自然语言处理课程的经验来看,我认为,尽管这些书的质量非常好,但大多数都不是针对最有可能的读者。本书的目标读者是那些在机器学习和自然语言处理之外的领域有经验的人,并且他们的工作至少部分地依赖于对大量数据,特别是文本数据的自动化分析。这些专家可能包括社会科学家、政治科学家、生物医学科学家,甚至是对机器学习接触有限的计算机科学家和计算语言学家。

现有的深度学习和自然语言处理书籍通常分为两大阵营。第一个阵营专注于深度学习的理论基础。这对前面提到的读者肯定是有用的,因为在使用工具之前应该了解它的理论方面。然而,这些书倾向于假设一个典型的机器学习研究者的背景,因此,我经常看到没有这种背景的学生很快就迷失在这样的材料中。为了缓解这个问题,目前存在的第二种类型的书集中在机器学习从业者;也就是说,如何使用深度学习软件,而很少关注理论方面。我认为,关注实际方面同样是必要的,但还不够。考虑到深度学习框架和库已经变得相当复杂,由于理论上的误解而滥用它们的可能性很高。这个问题在我的课程中也很常见。

因此,本书旨在为自然语言处理的深度学习搭建理论和实践的桥梁。我涵盖了必要的理论背景,并假设读者有最少的机器学习背景。我的目标是让任何上过线性代数和微积分课程的人都能跟上理论材料。为了解决实际问题,本书包含了用于讨论的较简单算法的伪代码,以及用于较复杂体系结构的实际Python代码。任何上过Python编程课程的人都应该能够理解这些代码。读完这本书后,我希望读者能有必要的基础,立即开始构建真实世界的、实用的自然语言处理系统,并通过阅读有关这些主题的研究出版物来扩展他们的知识。

http://clulab.cs.arizona.edu/gentlenlp/gentlenlp-book-05172020.pdf

成为VIP会员查看完整内容
0
25

这是一本专门为计算机科学学生设计的数学概率和统计课程的教科书。计算机科学的例子在整个领域被使用,例如:计算机网络;数据和文本挖掘;计算机安全;遥感;计算机性能评价;软件工程;数据管理;等。

为什么这本书不同于所有其他关于数学概率和统计的书?

首先,它强烈强调直觉,较少数学形式主义。根据我的经验,通过样本空间定义概率(标准方法)是做好应用工作的主要障碍。将期望值定义为加权平均值也是如此。相反,我使用一种直观、非正式的方法,即长期频率和长期平均值。我相信这在解释条件概率和期望时特别有用,这些概念往往是学生们难以理解的。(他们通常认为自己理解了,直到他们实际上必须使用这些概念来解决一个问题。)另一方面,尽管相对缺乏形式主义,所有的模型等都被精确地用随机变量和分布来描述。这部分内容实际上比这一层次上的大部分内容都更具有数学意义因为它广泛地使用了线性代数。

第二,这本书强调了现实世界的应用。类似的课本,尤其是Mitzenmacher写的那本优雅有趣的计算机科学学生的书,侧重于概率,事实上是离散概率。他们预期的“应用”类别是算法的理论分析。相反,我关注的是这些材料在现实世界中的实际使用;它更倾向于连续而不是离散,更倾向于统计领域而不是概率。鉴于“大数据”和机器学习如今在计算机应用中发挥着重要作用,这一点应被证明尤其有价值。

第三,非常强调建模。相当多的重点放在这样的问题上:在现实生活中,概率模型的真正含义是什么?如何选择模型?我们如何评估模型的实用价值?这方面非常重要,因此有一个单独的章节,叫做模型构建导论。贯穿全文,有相当多的讨论的现实意义的概率概念。

成为VIP会员查看完整内容
0
25

端到端关系抽取旨在识别命名实体,同时抽取其关系。近期研究大多采取 joint 方式建模这两项子任务,要么将二者统一在一个结构化预测网络中,要么通过共享表示进行多任务学习。

而近期来自普林斯顿大学的 Zexuan Zhong、陈丹琦介绍了一种非常简单的方法,并在标准基准(ACE04、ACE05 和 SciERC)上取得了新的 SOTA 成绩。该方法基于两个独立的预训练编码器构建而成,只使用实体模型为关系模型提供输入特征。通过一系列精心检验,该研究验证了学习不同的语境表示对实体和关系的重要性,即在关系模型的输入层融合实体信息,并集成全局语境信息。

此外,该研究还提出了这一方法的高效近似方法,只需要在推断时对两个编码器各执行一次,即可获得 8-16 倍的加速,同时准确率仅小幅下降。

成为VIP会员查看完整内容
0
26

在优化和决策过程中,不确定性量化(UQ)在减少不确定性方面起着至关重要的作用。它可以应用于解决科学和工程中的各种实际应用。贝叶斯逼近和集成学习技术是目前文献中使用最广泛的两种UQ方法。在这方面,研究者们提出了不同的UQ方法,并在计算机视觉(如自动驾驶汽车和目标检测)、图像处理(如图像恢复)、医学图像分析(如医学图像分类和分割)、自然语言处理(如文本分类、社交媒体文本和再犯风险评分)、生物信息学得到广泛应用。本研究综述了UQ方法在深度学习中的最新进展。此外,我们还研究了这些方法在强化学习(RL)中的应用。然后,我们概述了UQ方法的几个重要应用。最后,我们简要地强调了UQ方法面临的基本研究挑战,并讨论了该领域的未来研究方向。

https://arxiv.org/abs/2011.06225

摘要:

在日常情景中,我们处理很多领域的不确定性,从投资机会和医疗诊断到体育比赛和天气预报,目的是根据收集的观察和不确定的领域知识进行决策。现在,我们可以依靠使用机器和深度学习技术开发的模型来量化不确定性来完成统计推断[1]。在人工智能(AI)系统使用[2]之前,对其效能进行评估是非常重要的。这种模型的预测具有不确定性,除了存在不确定性的归纳假设外,还容易出现噪声和错误的模型推断。因此,在任何基于人工智能的系统中,以一种值得信赖的方式表示不确定性是非常可取的。通过有效地处理不确定性,这样的自动化系统应该能够准确地执行。不确定性因素在人工智能中扮演着重要的角色

不确定性的来源是当测试和训练数据不匹配,由于类重叠或由于数据[6]中存在噪声而产生的不确定性。估计知识的不确定性要比数据的不确定性困难得多,数据的不确定性自然是通过极大似然训练来度量的。预测中的不确定性来源对于解决不确定性估计问题[7]至关重要。不确定性有两个主要来源,在概念上称为aleatoric和epistemic不确定性8

数据中的不可约不确定性导致预测中的不确定性是一种可选不确定性(也称为数据不确定性)。这种类型的不确定性不是模型的属性,而是数据分布的固有属性;因此它是不可约的。不确定性的另一种类型是认知不确定性(也称为知识不确定性),它是由于知识和数据的不足而产生的。人们可以定义模型来回答基于模型预测中的不同人类问题。在数据丰富的情况下,有大量的数据收集,但它可能是信息差的[10]。在这种情况下,可以使用基于人工智能的方法定义有效的模型,表征数据特征。通常这些数据是不完整的,有噪声的,不一致的和多模态的[1]。

不确定性量化(UQ)是当今许多关键决策的基础。没有UQ的预测通常是不可靠和不准确的。为了理解深度学习(DL)[11],[12]过程生命周期,我们需要理解UQ在DL中的作用。DL模型首先收集可用于决策过程的最全面和潜在相关的数据集。DL场景的设计是为了满足某些性能目标,以便在使用标记数据训练模型之后选择最合适的DL架构。迭代训练过程优化不同的学习参数,这些参数将被“调整”,直到网络提供令人满意的性能水平。

在涉及的步骤中,有几个不确定因素需要加以量化。很明显的不确定性这些步骤如下:(i)选择和训练数据的集合,(ii)训练数据的完整性和准确性,(3)理解DL(或传统机器学习)模型与性能范围及其局限性,和(iv)不确定性对应基于操作数据的性能模型[13]。数据驱动的方法,如与UQ相关的DL提出了至少四组重叠的挑战:(1)缺乏理论,(2)缺乏临时模型,(3)对不完美数据的敏感性,以及(4)计算费用。为了缓解这些挑战,有时会采用模型变异性研究和敏感性分析等特殊解决方案。不确定性估计和量化在数字学习和传统机器学习中得到了广泛的研究。在下面,我们提供一些最近的研究的简要总结,这些研究检验了处理不确定性的各种方法的有效性。

图2给出了三种不同不确定度模型[9](MC dropout, Boostrap模型和GMM模型)的示意图比较。此外,不确定性感知模型(BNN)与OoD分类器的两种图形表示如图3所示。

在大数据时代,ML和DL,智能使用不同的原始数据有巨大的潜力,造福于广泛的领域。然而,UQ在不同的ML和DL方法可以显著提高其结果的可靠性。Ning等人总结并分类了不确定性下数据驱动优化范式的主要贡献。可以看出,本文只回顾了数据驱动的优化。在另一项研究中,Kabir等人[16]回顾了基于神经网络的UQ。作者关注概率预测和预测区间(pi),因为它们是UQ文献中最广泛使用的技术之一。

我们注意到,从2010年到2020年(6月底),在各个领域(如计算机视觉、图像处理、医学图像分析、信号处理、自然语言处理等)发表了超过2500篇关于AI中UQ的论文。与以往UQ领域的文献综述不同,本研究回顾了最近发表的使用不同方法定量AI (ML和DL)不确定性的文章。另外,我们很想知道UQ如何影响真实案例,解决AI中的不确定性有助于获得可靠的结果。与此同时,在现有的研究方法中寻找重要的谈话是一种很好的方式,为未来的研究指明方向。在这方面,本文将为ML和DL中UQ的未来研究人员提供更多的建议。我们调查了UQ领域应用于ML和DL方法的最新研究。因此,我们总结了ML和DL中UQ的一些现有研究。值得一提的是,本研究的主要目的并不是比较提出的不同UQ方法的性能,因为这些方法是针对不同的数据和特定的任务引入的。由于这个原因,我们认为比较所有方法的性能超出了本研究的范围。因此,本研究主要关注DL、ML和强化学习(RL)等重要领域。因此,本研究的主要贡献如下:

  • 据我们所知,这是第一篇关于ML和DL方法中使用的UQ方法的全面综述论文,值得该领域的研究人员使用。
  • 对新提出的UQ方法进行了全面调研。
  • 此外,UQ方法的重要应用的主要类别也进行了介绍
  • 指出了UQ方法的主要研究空白。
  • 最后,讨论了很少确定的未来发展方向。
成为VIP会员查看完整内容
0
25
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top