《2021年人工智能全景报告》目前已进入第四年,由行业和研究领域的人工智能从业者进行评审,并邀请了一系列知名和崭露头角的公司和研究团体做出贡献。本报告考虑了以下主要方面:

研究方向: 技术突破和能力。 人才: 人工智能人才的供给、需求和集中度。 所属行业: 人工智能商业应用领域及其商业影响。 政治: 人工智能的监管、其经济影响和正在兴起的人工智能地缘政治。 预测: 我们认为会发生什么,以及让我们保持诚实的业绩评估。

https://www.stateof.ai/

今年,我们看到人工智能在从药物研发到电网等关键任务基础设施等各个领域取得突破方面变得越来越关键。

我和我的朋友Ian Hogarth合作制作了今年的人工智能全景报告,它指出了我们在过去12个月里在NLP、计算机视觉和生物学方面看到的现实世界的性能突破。

虽然人工智能对社会和经济的影响越来越明显,但我们的报告强调,对人工智能安全性和影响的研究仍落后于其快速的商业、民用和军事部署。这一点,以及其他突出的偏见问题,让我们有理由思考如何最好地绘制能力迅速提升的人工智能系统的进展。

今年的报告特别关注了Transformer 技术的出现,这种技术将机器学习算法聚焦于数据点之间的重要关系,以更全面地提取意义,以便更好地预测,最终帮助解锁了我们一直强调的许多关键突破。

该报告还阐明了生物学领域的一个分水岭,在这个分水岭上,人工智能优先方法继续显示出它们完全改变药物发现和医疗保健的潜力。我个人很期待在蛋白质折叠和RNA分子结构方面的重大突破之后,接下来会发生什么。

关键的信息。我们希望这份报告对从人工智能研究到政治的所有人都有意义:

  • 人工智能正在以更具体的方式发展:人工智能正越来越多地应用于关键任务基础设施,如国家电网和流行病期间超市仓储自动化计算。然而,对于该行业的成熟是否已经赶上其日益增长的部署规模,仍存在疑问。人工智能正日益以数据为中心,而不是以模型为中心。

  • 人工智能优先的方法已经席卷了生物学领域: 人工智能能够更快地模拟人类的细胞机制(蛋白质和RNA),这有可能改变药物发现和医疗保健。

  • Transformers已经成为机器学习的通用架构: 在包括自然语言处理(NLP)、计算机视觉甚至蛋白质结构预测在内的许多领域击败了最先进的技术。

  • 投资者已经注意到: 今年,我们看到人工智能初创企业获得了创纪录的融资,以人工智能为先导的药物研发公司进行了两次首次公开募股(ipo),数据基础设施和网络安全公司的ipo也引起了轰动,这些公司帮助企业重组以适应人工智能时代。

  • 中国在研究质量上的提升是值得注意的: 中国的大学从1980年没有发表人工智能研究成果,迅速发展到今天发表了数量最多的高质量人工智能研究成果。

成为VIP会员查看完整内容
0
72

在过去的十年里,人们对人工智能和机器学习的兴趣有了相当大的增长。从最广泛的意义上说,这些领域旨在“学习一些有用的东西”,了解生物体所处的环境。如何处理收集到的信息导致了算法的发展——如何处理高维数据和处理不确定性。在机器学习和相关领域的早期研究阶段,类似的技术在相对孤立的研究社区中被发现。虽然不是所有的技术都有概率论的自然描述,但许多都有,它是图模型的框架(图和概率论的结合),使从统计物理、统计、机器学习和信息理论的想法的理解和转移。在这种程度上,现在有理由期待机器学习研究人员熟悉统计建模技术的基础知识。这本书集中在信息处理和机器学习的概率方面。当然,没有人说这种方法是正确的,也没有人说这是唯一有用的方法。事实上,有人可能会反驳说,这是没有必要的,因为“生物有机体不使用概率论”。无论情况是否如此,不可否认的是,图模型和概率框架帮助机器学习领域出现了新算法和模型的爆炸式增长。我们还应该清楚,贝叶斯观点并不是描述机器学习和信息处理的唯一方法。贝叶斯和概率技术在需要考虑不确定性的领域中发挥了自己的作用。

http://www0.cs.ucl.ac.uk/staff/d.barber/brml/

本书结构

本书第一部分的目的之一是鼓励计算机科学专业的学生进入这一领域。许多现代学生面临的一个特别困难是有限的正规微积分和线性代数训练,这意味着连续和高维分布的细节可能会让他们离开。在以概率作为推理系统的一种形式开始时,我们希望向读者展示他们可能更熟悉的逻辑推理和动态规划的想法如何在概率环境中有自然的相似之处。特别是,计算机科学的学生熟悉的概念,算法为核心。然而,在机器学习中更常见的做法是将模型视为核心,而如何实现则是次要的。从这个角度来看,理解如何将一个数学模型转换成一段计算机代码是核心。

第二部分介绍了理解连续分布所需的统计背景,以及如何从概率框架来看待学习。第三部分讨论机器学习的主题。当然,当一些读者看到他们最喜欢的统计话题被列在机器学习下面时,他们会感到惊讶。统计学和机器学习之间的一个不同观点是,我们最终希望构建什么样的系统(能够完成“人类/生物信息处理任务的机器),而不是某些技术。因此,我认为这本书的这一部分对机器学习者来说是有用的。第四部分讨论了明确考虑时间的动态模型。特别是卡尔曼滤波器被视为图模型的一种形式,这有助于强调模型是什么,而不是像工程文献中更传统的那样把它作为一个“过滤器”。第五部分简要介绍了近似推理技术,包括随机(蒙特卡罗)和确定性(变分)技术。

成为VIP会员查看完整内容
0
49

https://www.manning.com/books/graph-powered-machine-learning

机器学习的核心是有效地识别数据中的模式和关系。许多任务,例如查找词汇之间的关联以便您能够做出准确的搜索建议,或者在社交网络中定位具有相似兴趣的个人,很自然地以图Graph的形式表达出来。图驱动机器学习教你如何使用基于图形的算法和数据组织策略来开发高级的机器学习应用程序。

对这项技术

对于任何涉及到大型数据集中的模式匹配的任务,基于图的机器学习都是一个非常强大的工具。应用程序包括安全问题,如识别欺诈或检测网络入侵,应用程序领域,如社交网络或自然语言处理,以及更好的用户体验,通过准确的推荐和智能搜索。通过将数据组织和分析为图形,您的应用程序可以更流畅地使用以图形为中心的算法(如最近邻算法或页面排名算法),在这些算法中,快速识别和利用相关关系非常重要。现代图形数据存储(如Neo4j或Amazon Neptune)是支持图形机器学习的现成工具。

关于这本书

图驱动机器学习向您介绍图技术概念,强调图在机器学习和大数据平台中的作用。您将深入了解各种技术,包括数据源建模、算法设计、链接分析、分类和集群。在掌握核心概念之后,您将探索三个端到端项目,它们将演示体系结构、最佳设计实践、优化方法和常见缺陷。作者亚历山德罗·内格罗在构建基于图形的机器学习系统方面的丰富经验在每一章中都有所体现,你可以从他与真实客户合作的实例和具体场景中学习!

里面有什么

机器学习项目的生命周期 端到端应用程序 大数据平台中的图形 数据源建模 自然语言处理、推荐和相关搜索 优化方法

本书组织

这本书分为四部分,共12章。第一部分介绍了书中的主要主题,从通用机器学习和图的概念开始,然后转移到将这些概念结合起来的好处:

  • 第一章介绍了机器学习和图,涵盖了理解以下章节所必需的基本概念。

  • 第二章列举了将大数据作为机器学习输入的主要挑战,并讨论了如何使用图模型和图数据库来处理这些挑战。介绍了图形数据库的主要特点。

  • 第三章详细描述了图在机器学习工作流中的作用,并描述了一个用于大规模图处理的系统。

第2部分讨论了几个实际用例,在这些用例中,图形支持了机器学习项目的开发,并改进了最终的结果,特别关注以下:

  • 第四章介绍了最常见的推荐技术,并描述了如何为其中之一设计合适的图模型:基于内容的推荐引擎。它详细展示了如何将现有(非图)数据集导入到图模型中,并实现基于内容的工作推荐引擎。

  • 第五章描述了如何为协同过滤方法设计合适的图模型,以及如何实现充分工作的协同过滤推荐引擎。

  • 第六章介绍了基于会话的推荐算法,并描述了一个能够捕获用户会话数据的图模型。它演示了如何将示例数据集导入到设计的模型中,并在其上实现一个真正的推荐引擎。

  • 第七章通过一个考虑用户上下文的推荐引擎的实现来驱动读者。它描述了上下文感知推荐引擎的图模型,并展示了如何将现有数据集导入到图模型中。此外,本章还说明了如何在单个引擎中组合多种推荐方法。

第三部分讨论了欺诈检测:

  • 第八章介绍了欺诈检测,并描述了不同领域的不同类型的欺诈。它还规定了图形在建模数据中的作用,以便更快更容易地揭示欺诈,以及一些用于打击欺诈的简单图形模型中的技术和算法。

  • 第九章转向基于异常检测的更高级的打击欺诈的算法。它展示了如何使用图来存储和分析事务的k-NN,并识别异常事务。

  • 第十章描述了如何使用社会网络分析(SNA)对欺诈者和欺诈风险进行分类。它列出了基于SNA的欺诈分析的不同图表算法,并展示了如何从数据中得出正确的图表。

第四部分介绍了自然语言处理(NLP):

  • 第十一章介绍了基于图的自然语言处理的相关概念。特别地,它描述了一种通过NLP提取非结构化数据的隐藏结构来分解文本并将其存储到图中的简单方法。

  • 第十二章介绍了知识图谱,详细描述了如何从文本中提取实体和关系,并从中创建知识图谱。它列出了知识图谱使用的后处理技术,如语义网络构建和自动主题抽取。

成为VIP会员查看完整内容
0
47

摘要

金融AI泛指人工智能技术在金融业务中的应用。几十年来,随着经典和现代人工智能技术被应用到金融、经济和社会等越来越广泛的领域,这一领域一直备受关注。与讨论特定人工智能技术,特别是新一代人工智能和数据科学(AIDS)领域所带来的金融问题、方面和机遇,或回顾应用特定技术解决特定金融问题的进展相比,这篇综述提供了一个全面而密集的路线图,概述了过去几十年金融领域人工智能研究面临的巨大挑战、技术和机遇。本文首先概述了金融业务和数据的前景和挑战,然后对金融领域数十年的人工智能研究进行了全面分类和密集概述。然后,我们构建和说明数据驱动的分析和学习的金融业务和数据。以下是对经典和现代金融AI技术的比较、批评和讨论。最后,讨论了未来人工智能授权金融和财务驱动的人工智能研究的未决问题和机遇。

https://www.zhuanzhi.ai/paper/094883565e2f0985d3812fed429af2fe

引言

几十年来,金融领域的人工智能(AI)一直是人们非常感兴趣的研究领域。传统金融市场、交易、银行、保险、风险、监管和营销等经典的人工智能金融和经济,已经演变为新一代金融科技(或金融科技,即全面的金融技术),实现智能数字货币、贷款、支付、资产和财富管理,风险和监管管理,以及会计和审计[13,14,32,33,58,119,136]。在这里,金融指的是广泛的领域,包括资本市场、交易、银行、保险、领先/贷款、投资、资产/财富管理、风险管理、市场营销、合规和监管、支付、合同、审计、会计、金融基础设施、区块链、金融运营、金融服务、金融安全、和金融伦理。此外,经济和金融(简称EcoFin,下文也指EcoFin方面)彼此之间以及与广泛的人工智能家族之间的协同作用日益增强。

金融服务、经济、技术、媒体、传播和社会转型与综合。辅助系统包括 (1) 经典技术,包括逻辑、规划、知识表示、统计建模、数学建模、优化、自主系统、多智能体系统、专家系统(ES)、决策支持系统(DSS)、仿真、复杂性科学、模式识别、图像处理、自然语言处理(NLP);(2)现代技术,如表示学习、机器学习、优化、数据分析、数据挖掘和知识发现、计算智能、事件分析、行为信息学、社交媒体/网络分析,以及最近的深度学习、认知计算和量子计算等方面的最新进展。如[33]所述,AIDS在很大程度上定义了EcoFin和FinTech新时代的目标、产品和服务,并培育了EcoFin向越来越积极主动、个性化、智能化、互联化、安全可信的产品和服务转型的浪潮,形成了智能FinTech(如图[33]中的图2所示)。

图1连接了主要的AIDS技术(上鳍)、EcoFin业务(下鳍)和它们的协同作用(如图脊所示)。共生体(金融科技鱼)培育了“智能金融科技”家族的多个合成领域: (1)智能金融核心业务,如智能银行、智能保险、智能贷款、智能交易、智能财富、智能区块链、智能支付和智能营销; (2) 经营、服务、决策智能化,如智慧监管、智慧风险、智慧安全、智慧会计、智慧审计、智慧治理、智慧运营、智慧管理; (3) 实现更智能的金融科技期货,如创造更智能的设计、规划和创新。我们开发了相应的辅助技术,以实现和自动化这些领域的“智能”,进一步产生相应的金融科技技术谱系:BankingTech、LendTech、WealthTech、tratech、PayTech、InsurTech、RiskTech和RegTech等。这些构成了“智能金融科技”的概念和家族。有兴趣的读者可以参考[32,33]和其他相关参考文献,了解这些不断发展的领域和技术。本文回顾的AIDS技术直接使上述智能金融科技业务转化为相应的智能金融科技技术。

文献中的许多评论参考文献或多或少都与金融领域的人工智能有关,本文引用的35篇左右的论文就说明了这一点。现有综述集中在(1)特定技术或方法的应用,如时间序列分析、文本挖掘、自然语言处理、数据挖掘、经典机器学习、进化计算、计算智能、量子计算或深度学习和(2)特定业务问题的应用。如市场趋势预测、股价预测、信用评分、欺诈检测、财务报告分析、定价与套期保值、市场营销、消费者行为分析、算法交易、社交商务、互联网金融等。据我们所知,没有全面的评估涉及技术和企业的整个生态系统及其协同效应,这是一个雄心勃勃的但具有挑战性的任务。[33]从金融应用的角度全面总结了几十年来金融领域的人工智能研究,这似乎是第一次对应用生态系统的构建、分析和评论进行全面的综述。本文对这篇综述进行了补充,但从技术角度进一步总结、结构、分析、比较和评论金融对AIDS的基本业务和数据挑战,以及数据驱动理解和解决金融问题的AIDS技术,以及未来金融领域人工智能研究的技术差距和机遇。这似乎是首次尝试对金融领域的人工智能技术生态系统进行全面但高度密集的概述。

成为VIP会员查看完整内容
0
47

摘要

人工智能(AI)技术的发展使各种应用系统得以应用于现实世界,影响着人们的日常生活。然而,目前很多人工智能系统被发现容易受到无形的攻击,对弱势群体存在偏见,缺乏对用户隐私的保护等,这不仅降低了用户体验,也侵蚀了社会对所有人工智能系统的信任。在这篇综述中,我们努力为人工智能从业者提供一个全面的指南,以构建可信赖的人工智能系统。我们首先介绍了人工智能可信度的重要方面的理论框架,包括稳健性、泛化性、可解释性、透明度、再现性、公平性、隐私保护、与人类价值观的一致性和问责性。然后我们调研了行业中在这些方面的领先方法。为了统一目前零散的人工智能方法,我们提出了一种系统的方法,考虑人工智能系统的整个生命周期,从数据采集到模型开发,到开发和部署,最后到持续监测和治理。在这个框架中,我们向从业者和社会利益相关者(如研究人员和监管机构)提供具体的行动项目,以提高人工智能的可信度。最后,我们确定可信赖的人工智能系统未来发展的关键机遇和挑战,我们确定需要向全面可信赖的人工智能系统转变范式。

https://www.zhuanzhi.ai/paper/00386996069b8168827d03f0c809a462

引言

人工智能(AI)的快速发展给人类社会带来了巨大的经济和社会前景。随着人工智能在交通、金融、医疗、安全、娱乐等领域的广泛应用,越来越多的社会意识到,我们需要这些系统是可信的。这是因为,考虑到这些人工智能系统的普遍性,违背利益相关者的信任可能会导致严重的社会后果。相比之下,人工智能从业者,包括研究人员、开发人员、决策者等,传统上一直追求系统性能(也就是准确性)作为他们工作流程的主要指标。这一指标远远不足以反映对人工智能可信度的要求。除了系统性能外,人工智能系统的各个方面都应该被仔细考虑,以提高其可信度,包括但不限于健壮性、算法公平性、可解释性、透明度等方面。

虽然最活跃的关于人工智能可信度的学术研究集中在模型的算法属性上,但我们发现,单靠算法研究的发展不足以构建可信的人工智能产品。从行业角度看,人工智能产品的生命周期包括数据准备、算法设计、开发、部署、运营、监控、治理等多个阶段。要在任何一个方面(如健壮性)获得可信赖性,需要在系统生命周期的多个阶段进行努力,如数据净化、健壮算法、异常监控、风险审计等。另一方面,任何一个环节或任何一个方面的信任违约都可能破坏整个系统的可信赖性。因此,应该在人工智能系统的整个生命周期中建立和系统地评估人工智能的可信度。

除了通过在不同的可信赖性方面建立可信赖的要求来追求人工智能的可信赖性,这些方面之间的交互是现实世界值得信赖的人工智能系统中一个重要且有待探索的话题。例如,对数据隐私的需求可能会干扰详细解释系统输出的愿望,而对算法公平性的追求可能会不利于某些群体体验到的准确性和稳健性。因此,仅仅贪婪地追求这些不同的方面并不一定会产生通向更可靠的AI系统的最佳解决方案。值得信赖的人工智能应该通过权衡和联合优化多个值得信赖的方面来建立。以上事实表明,有必要采取系统的方法来改变目前的人工智能范式,以获得可信赖性。这需要多学科相关者的意识和合作,相关者在系统生命周期的不同可信方面和不同阶段工作。为了帮助开发这种系统方法,我们以一种可访问的方式组织多学科知识,让人工智能从业者了解人工智能的可信赖性,并为构建可信赖的人工智能系统提供操作和系统的指导。我们的主要贡献包括:

  • 我们调研和扩大在最近讨论关于AI可信赖性,建立值得信赖的AI系统的迫切需要得到我们的东西从工业的角度来看,包括鲁棒性、泛化,可解释性、透明度、复现性、公平、隐私保护、价值一致和责任(第2节)。

  • 我们广泛回顾了各种利益相关者为实现这些需求所做的努力,包括积极的学术研究、工业发展技术以及治理和管理机制。这种多样化和全面的方法集合有助于提供人工智能可信度的整体图景,并弥合来自不同背景的从业者之间的知识鸿沟(第3节)。

  • 我们剖析了工业应用中人工智能系统的整个开发和部署生命周期,并讨论了从数据到人工智能模型,从系统部署到操作的每个阶段如何提高人工智能的可信度。我们提出了一个系统框架来组织值得信赖的人工智能的多学科和碎片化方法,并进一步提出将人工智能值得信赖作为一个连续的工作流,在人工智能系统生命周期的每个阶段纳入反馈。我们也分析了在实践中不同可信度方面之间的关系(相互增强,有时是权衡)。因此,我们的目标是为研究人员、开发人员、操作人员和法律专家等人工智能从业者提供一个可访问的、全面的指南,以快速理解通向人工智能可信度的方法(第4节)。

  • 我们讨论了值得信赖的人工智能的突出挑战,在不久的将来,研究社区和行业从业者应该专注于解决这些挑战。我们确定了几个关键问题,包括需要对人工智能可信度的几个方面(如健壮性、公平性和可解释性)有更深层次的基础理解,用户意识的重要性,以及促进跨学科和国际合作(第5节)。

成为VIP会员查看完整内容
0
44

这本书的目的是提供一个从零开始全面的贝叶斯优化介绍,并细致阐述所有关键的想法。目标受众是机器学习、统计和相关领域的研究生和研究人员。然而,我也希望来自其他领域的从业者和研究人员能在这里找到一些用处。

https://bayesoptbook.com/

本书分为三个主要部分,包括:

  • 高斯过程建模的理论与实践,
  • Bayesian方法用于序列决策
  • 实现切实有效的优化策略。

还包括一些其他的主题:

  • 理论收敛结果的概述,
  • 一项关于引人注目的扩展的调研,
  • 贝叶斯优化的全面历史
  • 应用的带注释的参考书目。

目录内容: Introduction Gaussian Processes Modeling with Gaussian Processes Model Assessment, Selection, and Averaging Decision Theory for Optimization Utility Functions for Optimization Common Bayesian Optimization Policies Computing Policies with Gaussian Processes Implementation Theoretical Analysis Extensions and Related Settings A Brief History of Bayesian Optimization

引言概述

在机器学习的背景下,贝叶斯优化是一个古老的想法。尽管贝叶斯优化的历史已经很长,但在过去的十年里,它经历了一段复兴和快速发展的时期。这种复兴的主要驱动力是计算方面的进步,这使得贝叶斯建模和推理的工具越来越复杂。

这本书的目的是提供一个从零开始的全面的贝叶斯优化介绍,并细致阐述所有的关键思想。这种自下而上的方法允许我们在贝叶斯优化算法中确定统一的主题,这些主题可能在以往的调研文献时丢失。

这本书分为三个主要部分。第2-4章涵盖了高斯过程建模的理论和实践方面。这类模型是贝叶斯优化文献中最受欢迎的,其中包含的材料对接下来的几章至关重要。

第5-7章介绍了序列决策理论及其在优化中的应用。虽然这个理论需要一个目标函数的模型和我们对它的观察,介绍是不可知的模型的选择,可以独立地阅读前几章的高斯过程。这些内容是在第8-10章中介绍的,讨论了使用高斯过程模型的贝叶斯优化的细节。第8-9章讨论了计算和实现的细节,第10章讨论了贝叶斯优化算法的理论性能界限,其中大多数结果密切依赖于目标函数的高斯过程模型或相关的重新生成核希尔伯特空间。

一些应用的细微差别需要修改基本序列优化方案(这是前几章的重点),第11章介绍了对这一基本设置的几个值得注意的扩展。每一个都是通过贝叶斯决策理论的统一视角系统地呈现出来的,以说明一个人在面对新情况时应该如何处理。最后,第12章提供了一个简单和独立的贝叶斯历史介绍。

成为VIP会员查看完整内容
0
42

深度学习的研究在许多机器学习任务上产生了最先进的结果。大多数的进步都是由直觉和通过试验和错误进行的大规模探索推动的。因此,目前理论落后于实践。ML社区并不完全理解为什么最好的方法是有效的。来自UIUC Matus Telgarsky教授撰写了关于深度学习理论笔记,值得关注。

地址: https://mjt.cs.illinois.edu/dlt/

这些笔记的哲学。两个关键的观点决定了到目前为止所包含的内容。

我的目标是对文献中出现的东西提供简化的证明,理想情况下,把困难的东西简化成适合一节课的东西。

我主要关注通过标准(通常是ReLU)前馈网络实现IID数据的二进制分类的低测试误差。

内容组织:

近似 (从第1节开始): 给定一个分类问题,存在一个深度网络,在分布上实现低误差。

优化 (从第9节开始): 对于一个分类问题,给定一个有限的训练集,存在寻找低训练误差和低复杂度的预测器的算法。

泛化 (从第16节开始): 对于低复杂度的网络,训练和测试误差之间的差距很小。

成为VIP会员查看完整内容
0
38

摘要

作为一种比传统机器学习方法更有效的训练框架,元学习获得了广泛的欢迎。然而,在多模态任务等复杂任务分布中,其泛化能力尚未得到深入研究。近年来,基于多模态的元学习出现了一些研究。本综述从方法论和应用方面提供了基于多模态的元学习景观的全面概述。我们首先对元学习和多模态的定义进行了形式化的界定,并提出了这一新兴领域的研究挑战,如何丰富少样本或零样本情况下的输入,以及如何将模型泛化到新的任务中。然后我们提出了一个新的分类系统,系统地讨论了结合多模态任务的典型元学习算法。我们对相关论文的贡献进行了调研,并对其进行了分类总结。最后,提出了该领域的研究方向。

https://www.zhuanzhi.ai/paper/3cf8fdad89ed44f7ea803ce6e0ab21b5

引言

深度学习方法在语音、语言和视觉领域取得了显著进展[1,2,3]。然而,这些方法的性能严重依赖于大量标记数据的可用性,而在大多数应用中,获取这些数据可能不切实际或成本高昂。仅使用有限的标记数据往往会导致过拟合问题,导致泛化到新数据[4]或完全不同的分布的不确定性。另一方面,人类学习过程中使用的“学会学习”机制[5]使我们能够从很少的样本[6]中快速学习新的概念。已有证据表明,通过结合先验知识和情境,人类可以在有限情景下获得多个先验任务的经验,在有限情景下,习得的抽象经验被一般化,以提高未来对新概念的学习表现。受此启发,提出了一种名为元学习(meta-learning)的计算范式[7,8],用来模拟人类学习广义任务经验的能力,旨在让机器从类似任务中获取先验知识,并快速适应新任务。通过在动态选择中提取跨领域任务目标,元学习过程比传统机器学习模型更具数据效率[9,10]。

由于元学习能够泛化到新的任务,我们的目的是了解元学习如何发挥作用,当任务更复杂时,例如,数据源不再是单模态的,或原始模态中的数据是有限的。最近的研究集中在将元学习框架应用于复杂任务的分配上[11,12],但仅限于单一的模态。特别是,在多个应用[7]、学习优化步骤[13]的先验知识、数据嵌入[14,15]或模型结构[16]的多任务和单任务场景中,元学习已经被证明是成功的。然而,在异构任务模态下,如何巧妙地利用元学习给研究人员带来了独特的挑战。要在额外模态的帮助下从这些任务中学习新概念,示例应该以成对或多种方式提供,其中每个示例包含同一概念的两个或多个项目,但在不同的模态。

首先在图像分类的零样本学习(ZSL) /广义零样本学习(GSZL)领域探讨了不同模态的异质特征。语义模式被认为在模型训练中提供强大的先验知识和辅助视觉模式。为了更好地将知识从可见的类迁移到不可见的类,基于元的算法被广泛引入来捕获配对模态之间的属性关系。然而,训练过程大多将一个模态视为主要模态,并通过添加另一个模态来利用额外的信息。它不涉及在真实的复杂情景中对多种模态的分析,如未配对的模态、缺失的模态以及模态之间的关联。因此,一些研究进一步将元学习方法应用于由其他模态构成的任务。具体来说,当不同任务的模态来自不同的数据分布,或者不同任务的模态被遗漏或不平衡时,通过充分利用元学习背景下的多模态数据,可以将不同模式的优势整合到问题中,从而提高绩效。另一方面,元学习本身的训练框架有助于提高原多模态学习者在新任务中的泛化能力。虽然对这两个概念的跨学科研究听起来很有前景,但目前的研究大多将元学习算法和多模态学习算法分开进行总结,导致多模态与元学习结合的研究存在差距。

最后,我们希望在本次综述中对基于多模态的元学习算法进行系统而全面的研究。我们旨在为不同的方法提供直观的解释,并有助于:

识别将元学习算法应用于多模态任务的挑战; 提出一个新的分类,并为每个类别提供深刻的分析; 总结解决不同挑战的具体贡献,包括其方法和与其他方法的区别; 强调当前的研究趋势和未来可能的方向。

本综述的其余部分组织如下。在第二节中,我们首先对元学习和多模态的定义进行了形式化界定,然后给出了基于多模态的元学习挑战的总体范式。然后我们在第3节提出了一个基于元学习算法可以学习的先验知识的新分类。我们分别在第4节、第5节和第6节对如何使原始元学习方法适应多模态数据的相关研究进行了考察,在第7节对这些工作进行了总结。最后,我们总结了目前的研究趋势在第8节和可能的方向,未来的工作在第9节。

成为VIP会员查看完整内容
0
35

自2002年美国Dr.Michael Grieves第一次提出数字孪生概念以来,数字孪生技术已经在城市建设、航空航天、生产车间等多个行业成功应用,并在2017年到2019年,连续三年入选Gartner十大战略技术,并预计未来五年将跨越新型技术成熟度曲线的低谷达到成熟应用的平台期。

随着“智慧泛在、数字孪生”的6G愿景成为业界共识,数字孪生技术也将在未来网络演进中发挥重要作用。结合数字孪生技术的数字孪生网络(Digital Twin Network)是实现未来自治网络的重要支撑,有望改变现有网络规、建、维、优的既定规则,成为6G“重塑世界”的关键技术。

本白皮书在业界首次系统阐述了数字孪生网络(DTN)总体架构、关键技术和分级体系,明确数字孪生网络在解决当前网络困境以及满足未来网络演进需求中的重要作用,并从技术需求角度,描述了数字孪生网络在几个典型场景中的应用。

成为VIP会员查看完整内容
1
35

自然语言处理技术试图用计算机模拟人类语言,解决从自动翻译到问答等各种各样的问题。CS11-711高级自然语言处理(在卡耐基梅隆大学的语言技术研究所)是一门自然语言处理的入门级研究生课程,目标是有兴趣在该领域进行前沿研究的学生。其中,我们描述了自然语言处理的基本任务,如句法、语义和篇章分析,以及解决这些任务的方法。本课程着重于使用神经网络的现代方法,并涵盖基本的建模和学习所需的算法。课程以一个项目结束,在这个项目中,学生试图在他们选择的主题中重新实施和改进一篇研究论文。

http://phontron.com/class/anlp2021/schedule.html

高级自然语言处理是一门关于自然语言处理的入门级研究生课程,面向有志于在该领域进行前沿研究的学生。其中,我们描述了自然语言处理的基本任务,如句法、语义和篇章分析,以及解决这些任务的方法。本课程着重于使用神经网络的现代方法,并涵盖基本的建模和学习所需的算法。课程以一个项目结束,在这个项目中,学生试图在他们选择的主题中重新实施和改进一篇研究论文。

目录内容:

引言

 Intro 1 - NLP 概述 Overview of NLP (8/31/2021)
 Intro 2 - 文本分类 Text Classification (9/2/2021)
 Intro 3 - 语言建模 Language Modeling and NN Basics (9/7/2021)
 Intro 4 - 神经网络基础 Neural Network Basics and Toolkit Construction (9/9/2021)

建模

Modeling 1 - 循环神经网络 Recurrent Networks (9/14/2021) Modeling 2 - 条件生成 Conditioned Generation (9/16/2021) Modeling 3 - 注意力机制 Attention (9/21/2021)

表示

Representation 1 - 预训练方法 Pre-training Methods (9/23/2021) Representation 2 - 多任务多领域Multi-task, Multi-domain, and Multi-lingual Learning (9/28/2021) Representation 3 - 提示学习Prompting + Sequence-to-sequence Pre-training (9/30/2021) Representation 4 - Interpreting and Debugging NLP Models (10/5/2021) Modeling 4 - 序列标注 Sequence Labeling (10/7/2021)

分析

Analysis 1 - Word Segmentation and Morphology (10/12/2021) Break -- No Class! (10/14/2021) Analysis 2 - Syntactic Parsing (10/19/2021) Analysis 3 - Semantic Parsing (10/21/2021) Analysis 4 - Discourse Structure and Analysis (10/26/2021)

应用

Applications 1 - 机器阅读Machine Reading QA (10/28/2021) Applications 2 - Dialog (11/02/2021) Applications 3 - Computational Social Science, Bias and Fairness (11/4/2021) Applications 4 - Information Extraction and Knowledge-based QA (11/9/2021)

学习

Learning 1 - Modeling Long Sequences (11/11/2021) Learning 2 - Structured Learning Algorithms (11/16/2021) Learning 3 - Latent Variable Models (11/18/2021) Learning 4 - Adversarial Methods for Text (11/23/2021) Thanksgiving -- No Class!! (11/25/2021) Poster Presentations (11/30/2021 and 12/2/2021)

成为VIP会员查看完整内容
0
31

这本书的第三版继续演示如何应用概率论,以获得洞察到真实的,日常统计问题和情况。这种方法最终导致了对统计程序和策略的直观理解,最常用的是实践工程师和科学家。这本书是为统计学或概率和统计的入门课程而写的,为工程、计算机科学、数学、统计学和自然科学的学生而写。因此,它假定你有初等微积分知识。

第一章简要介绍统计学,介绍它的两个分支,描述性统计和推理统计学,并简要介绍该学科的历史和一些人的早期工作为今天所做的工作奠定了基础。描述性统计的主题将在第二章中讨论。描述数据集的图和表在本章中给出,以及用于总结数据集某些关键属性的数量。要想从数据中得出结论,就必须了解数据的来源。例如,通常假设数据是来自某些总体的“随机样本”。为了准确理解这意味着什么,以及将样本数据属性与总体属性相关联的结果是什么,有必要对概率有一些了解,这是第三章的主题。本章介绍了概率实验的思想,解释了事件概率的概念,并给出了概率的公理。我们的概率研究将在第四章继续,这一章涉及随机变量和期望的重要概念,在第五章,考虑一些在应用中经常出现的特殊类型的随机变量。给出了二项式、泊松、超几何、正态、均匀、伽马、卡方、t和F等随机变量。在第6章中,我们研究了样本均值和样本方差等抽样统计量的概率分布。我们将展示如何使用一个著名的概率理论结果,即中心极限定理,来近似样本均值的概率分布。此外,我们还介绍了关节基础数据来自正态分布总体的重要特殊情况下的样本均值和样本方差的概率分布。第7章展示了如何使用数据来估计感兴趣的参数。第8章介绍了统计假设检验的重要主题,它涉及到使用数据来检验特定假设的可信性。第9章讨论回归的重要课题。简单线性回归(包括回归到均值、残差分析和加权最小二乘等子主题)和多元线性回归都被考虑在内。第10章是方差分析。考虑了单向和双向(有或没有交互的可能性)问题。第11章是关于拟合优度检验,它可以用来检验所提出的模型是否与数据一致。文中给出了经典的卡方拟合优度检验,并将其应用于列联表的独立性检验。本章的最后一节介绍了Kolmogorov-Smirnov程序,用于测试数据是否来自特定的连续概率分布。第12章讨论了非参数假设检验,当人们无法假设潜在的分布具有某些特定的参数形式(如正态分布)时,可以使用非参数假设检验。第13章考虑质量控制的主题,一个关键的统计技术在制造和生产过程。我们考虑了各种控制图,不仅包括休哈特控制图,还包括基于移动平均线和累积总和的更复杂的控制图。第14章讨论与寿命试验有关的问题。在本章中,指数分布,而不是正态分布,起着关键作用。

成为VIP会员查看完整内容
0
33

这本第五版现代图论之标准教科书糅合了经典著作的杈威及生动活泼的吸引风格;此风格 正是动態数学的标記。此书以简洁而可靠的完整証明阐述图论的核心內容;亦透过一两个例子,配合详盡证明其深入结果,让读者涉猎每一个领域 的高深方法。

这书可作为导论课程的可靠教科书,或研究生读本及自修之用。

https://diestel-graph-theory.com/index.html

成为VIP会员查看完整内容
0
30

这本书的目的是讲述当今世界各地研究人员使用的统计学的故事。这是一个不同的故事,在大多数介绍性的统计书籍,重点教如何使用一套工具,以实现非常具体的目标。这本书的重点在于理解统计思维的基本思想——一种关于我们如何描述世界、如何使用数据做出决定和预测的系统思维方式,所有这些都存在于现实世界的内在不确定性的背景下。它还带来了当前的方法,这些方法只有在过去几十年中计算能力的惊人增长才变得可行。在20世纪50年代需要数年时间才能完成的分析,现在在一台标准的笔记本电脑上只需几秒钟就能完成,这种能力释放了利用计算机模拟以新的、强大的方式提出问题的能力。

这本书也是在2010年以来席卷了许多科学领域的再现危机之后写成的。这场危机的一个重要根源在于,研究人员一直在使用(和滥用)统计假设检验(我将在本书的最后一章详细说明),这直接与统计教育有关。因此,本书的目标是突出当前统计方法可能存在的问题,并提出替代方案。

https://statsthinking21.github.io/statsthinking21-core-site/

成为VIP会员查看完整内容
0
31

本章首先介绍云计算起源、定义和分类等其本概念,接着重点阐述云计算的关键技术,然后分别讨论了谷歌云、亚马逊云和阿里云的技术原理,并给出了一个其于亚马逊云的 大数据分析案例,让读者更深刻地理解如何利用公有云来实现大数据分析应用。

成为VIP会员查看完整内容
0
31

这本书通过探索计算机科学理论和机器学习双方可以相互传授的内容,将理论和机器学习联系起来。它强调了对灵活、易于操作的模型的需求,这些模型更好地捕捉使机器学习变得容易的东西,而不是让机器学习变得困难的东西。

理论计算机科学家将被介绍到机器学习的重要模型和该领域的主要问题。机器学习研究人员将以一种可访问的格式介绍前沿研究,并熟悉现代算法工具包,包括矩法、张量分解和凸规划松弛。

超越最坏情况分析的处理方法是建立对实践中使用的方法的严格理解,并促进发现令人兴奋的、解决长期存在的重要问题的新方法。

在这本书中,我们将涵盖以下主题:

(a)非负矩阵分解

(b)主题建模

(c)张量分解

(d)稀疏恢复

(e)稀疏编码

(f)学习混合模型

(g)矩阵补全

https://www.cambridge.org/core/books/algorithmic-aspects-of-machine-learning/165FD1899783C6D7162235AE405685DB

成为VIP会员查看完整内容
0
30

当我开始教计算物理时,我面临的第一个决定是“我应该使用哪种语言?”由于有大量的优秀编程语言可用,这并不是一个显而易见的选择。我想用一种通用的语言来教授这门课,这样学生就可以很容易地利用他们在这门课上获得的技能,在物理以外的领域。该语言必须能够在所有主要的操作系统上使用。最后,语言必须是自由的。我想给学生们提供一种不用花钱就能使用的技能!大约在我的第一门计算物理课程开始前的一个月,Bruce Sherwood和Ruth Chabay向我介绍了Python,我立刻意识到这就是我的课程需要的语言。它简单易学;它也很容易阅读其他程序员用Python编写的代码,并弄清楚它是做什么的。它的空格特定格式迫使新程序员编写可读的代码。有一些数字图书馆,正好是我需要的课程。它是免费的,可以在所有主要的操作系统上使用。虽然它足够简单,可以让没有编程经验的学生在课程的早期解决有趣的问题,但它的功能足够强大,可以用于“严肃的”物理数值工作——而天体物理学社区正是为此使用它。最后,Python是以我最喜欢的英国喜剧剧团命名的。有什么理由不喜欢呢?

使用计算和模拟已经成为科学过程中必不可少的一部分。要将理论转化为算法,需要有重要的理论洞察力,详细的物理和数学理解,以及编程能力的工作水平。本文从多学科、计算科学的角度,对现代计算物理学的主题进行了不同寻常的广泛调研。它的哲学植根于通过做来学习(借助许多模型程序),利用新的科学材料以及Python编程语言。Python已经变得非常流行,特别是在物理教育和大型科学项目中。对于初学者来说,它可能是最容易学习的编程语言,但它也用于主流的科学计算,并且有优秀的图形甚至符号操作包。

成为VIP会员查看完整内容
0
29

在线学习是一种既具有理论意义又具有实践意义的学习范式。在线学习的目标是根据先前预测任务的正确答案和可能的其他可用信息,做出一系列准确的预测。在线学习已经在博弈论、信息论和机器学习等多个研究领域得到了研究。由于最近出现了大规模的应用,如在线广告放置和在线网站排名,这也引起了从业者的极大兴趣。在这个综述中,我们提供了在线学习的现代概况。我们的目标是给读者一些有趣的想法的感觉,特别是强调在推导有效的在线学习算法的凸的中心。我们不是要做全面的综述,而是要做一个高层次的、严谨的、易于理解的综述。

成为VIP会员查看完整内容
0
28

摘要 近年来,涌现了很多高质量大规模的知识库,基于知识库的问答系统(Knowledge Base Question Answering,KBQA)随着知识库的发展而得到了快速发展.知识库问答系统通过对自然语言问句进行理解和解析,进而利用知识库中的事实来回答自然语言问题,使用户在不了解知识库数据结构的情况下快速、精准的得到有价值的知识或答案.本文对知识库问答系统的研究方法进行了详细介绍并对目前的研究进展进行了总结,包括基于模板的方法、基于语义解析的方法和基于深度学习的方法.通过对这些研究方法进行对比,指出了各方法中存在的问题和不足,进而对知识库问答系统所面临的问题和挑战进行了总结.

http://xwxt.sict.ac.cn/CN/abstract/abstract5907.shtml

成为VIP会员查看完整内容
1
27

 全面了解数据科学的基础知识

 包括数据分析的常用技术、发展前沿和应用案例 

 了解数据的“能”与“不能”

 树立数据科学的基本思路

 初步掌握使用数据分析手段解决实际应用问题的能力

http://staff.ustc.edu.cn/~huangzhy/Course/DS2021.html

成为VIP会员查看完整内容
0
27

摘要

深度长尾学习是视觉识别中最具挑战性的问题之一,其目标是从大量遵循长尾类分布的图像中训练出性能良好的深度模型。在过去的十年中,深度学习已经成为一种学习高质量图像表示的强大的识别模型,并导致了一般视觉识别的显著突破。然而,长尾类不平衡是实际视觉识别任务中普遍存在的问题,这种不平衡往往限制了基于深度网络的识别模型在实际应用中的实用性,因为长尾类容易偏向主导类,在尾类上的表现较差。为了解决这一问题,近年来人们进行了大量的研究,在深度长尾学习领域取得了可喜的进展。鉴于该领域的快速发展,本文对深度长尾学习的最新进展进行了综述。具体地说,我们将已有的深度长尾学习研究分为三类(即类重平衡、信息增强和模块改进),并根据这三类对这些方法进行了详细的回顾。之后,我们通过一种新提出的评价指标,即相对准确性,来评估它们在多大程度上解决了阶级失衡问题,从而对几种最先进的方法进行了实证分析。最后,我们强调了深度长尾学习的重要应用,并确定了未来研究的几个有前景的方向。

引言

深度学习允许由多个处理层组成的计算模型学习具有多级抽象[1]、[2]的数据表示,并在计算机视觉[3]、[4]、[5]、[6]、[7]、[8]方面取得了令人难以置信的进展。深度学习的关键因素是大规模数据集的可用性、GPU的出现和深度网络架构[9]的进步。深度神经网络具有很强的学习高质量数据表示的能力,在图像分类[6]、[10]、目标检测[7]、[11]和语义分割[8]、[12]等视觉识别任务中取得了巨大的成功。

在实际应用中,训练样本通常表现为长尾类分布,其中一小部分类有大量的样本点,而其他类只与少数样本[13],[14],[15],[16]相关。然而,这种训练样本数量的类不平衡,使得基于深度网络的识别模型的训练非常具有挑战性。如图1所示,训练后的模型容易偏向训练数据量大的头类,导致模型在数据量有限的尾类上表现不佳。因此,经验风险最小化[20]常用实践训练的深度模型无法处理长尾类不平衡的现实应用,如人脸识别[21],[22],物种分类[23],[24],医学图像诊断[25],城市场景理解[26],无人机检测[27]。针对长尾类的不平衡,近年来开展了大量的深度长尾学习研究,包括[15]、[16]、[28]、[29]、[30]。尽管这一领域发展迅速,但仍没有系统的研究来回顾和讨论现有的进展。为了填补这一空白,我们旨在对2021年年中之前进行的近期长尾学习研究进行全面综述。

如图2所示,我们根据现有方法的主要技术贡献将其分为三类,即类重平衡、信息增强和模块改进;这些类别可以进一步分为九个子类别:重采样、代价敏感学习、logit调整、迁移学习、数据增强、表示学习、分类器设计、解耦训练和集成学习。根据这一分类,我们对现有的方法进行了全面的回顾,并对几种最先进的方法进行了实证分析,使用一个新的评价指标,即相对准确性来评价它们处理类不平衡的能力。我们通过介绍几个真实的深度长尾学习的应用场景,并确定了几个有前景的研究方向,可以由社区在未来探索。

我们总结了这项综述的主要贡献如下。

• 据我们所知,这是第一次对深度长尾学习的全面调研,将为研究人员和社区提供对深度神经网络的长尾视觉学习的更好理解。

• 我们提供了对高级长尾学习研究的深入回顾,并通过一个新的相对准确性度量来评估它们在多大程度上处理长尾类别失衡,以实证研究最先进的方法。

• 我们为未来的研究确定了四个潜在的方法创新方向以及八个新的深度长尾学习任务设置。

第二节介绍了问题的定义,并介绍了广泛使用的数据集、度量和网络骨架。第3节全面回顾了先进的长尾学习方法,第4节基于一个新的评价指标实证分析了几种最先进的方法。第5节给出了深度长尾学习的应用场景,第6节给出了未来的研究方向。我们在第7节结束调研。

成为VIP会员查看完整内容
0
26
Top