【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开。来自美国Linkedin、AWS等几位学者共同给了关于在工业界中可解释人工智能的报告,讲述了XAI概念、方法以及面临的挑战和经验教训。
人工智能在我们的日常生活中扮演着越来越重要的角色。此外,随着基于人工智能的解决方案在招聘、贷款、刑事司法、医疗和教育等领域的普及,人工智能对个人和职业的影响将是深远的。人工智能模型在这些领域所起的主导作用已经导致人们越来越关注这些模型中的潜在偏见,以及对模型透明性和可解释性的需求。此外,模型可解释性是在需要可靠性和安全性的高风险领域(如医疗和自动化交通)以及具有重大经济意义的关键工业应用(如预测维护、自然资源勘探和气候变化建模)中建立信任和采用人工智能系统的先决条件。
因此,人工智能的研究人员和实践者将他们的注意力集中在可解释的人工智能上,以帮助他们更好地信任和理解大规模的模型。研究界面临的挑战包括 (i) 定义模型可解释性,(ii) 为理解模型行为制定可解释性任务,并为这些任务开发解决方案,最后 (iii)设计评估模型在可解释性任务中的性能的措施。
在本教程中,我们将概述AI中的模型解译性和可解释性、关键规则/法律以及作为AI/ML系统的一部分提供可解释性的技术/工具。然后,我们将关注可解释性技术在工业中的应用,在此我们提出了有效使用可解释性技术的实践挑战/指导方针,以及在几个网络规模的机器学习和数据挖掘应用中部署可解释模型的经验教训。我们将介绍不同公司的案例研究,涉及的应用领域包括搜索和推荐系统、销售、贷款和欺诈检测。最后,根据我们在工业界的经验,我们将确定数据挖掘/机器学习社区的开放问题和研究方向。
目前,深度神经网络广泛应用于医疗、自动驾驶汽车、军事等直接影响人类生活的关键任务系统。然而,深度神经网络的黑箱特性对其在关键任务应用中的应用提出了挑战,引发了道德和司法方面的担忧,导致信任缺失。可解释人工智能(XAI)是人工智能(AI)的一个领域,它促进了一套工具、技术和算法,可以生成高质量的可解释的、直观的、人类可以理解的人工智能决策解释。除了在深度学习中提供当前XAI景观的整体视图外,本文还提供了开创性工作的数学总结。首先,我们根据XAI技术的解释范围、算法背后的方法论以及有助于构建可信、可解释和自解释的深度学习模型的解释级别或用法,提出了一种分类和分类方法。然后,我们描述了在XAI研究中使用的主要原则,并给出了2007年至2020年XAI里程碑式研究的历史时间表。在详细解释了每一类算法和方法之后,我们对8种XAI算法在图像数据上生成的解释图进行了评估,讨论了该方法的局限性,并为进一步改进XAI评估提供了潜在的方向。
基于人工智能(AI)的算法,尤其是使用深度神经网络的算法,正在改变人类完成现实任务的方式。近年来,机器学习(ML)算法在科学、商业和社会工作流的各个方面的自动化应用出现了激增。这种激增的部分原因是ML领域(被称为深度学习(DL))研究的增加,在深度学习中,数千(甚至数十亿)个神经元参数被训练用于泛化执行特定任务。成功使用DL算法在医疗(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],发育障碍(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主机器人和车辆(You2019、Grigorescu2019 Feng2020],在图像处理的分类和检测[Sahba2018 Bendre2020Human], 在语音和音频处理(Boles2017, Panwar2017),网络安全(Parra2020Detecting, Chacon2019Deep), 还有更多DL算法在我们日常生活中被成功应用。
深度神经网络中大量的参数使其理解复杂,不可否认地更难解释。不管交叉验证的准确性或其他可能表明良好学习性能的评估参数如何,深度学习(DL)模型可能天生就能从人们认为重要的数据中学习表示,也可能无法从这些数据中学习表示。解释DNNs所做的决策需要了解DNNs的内部运作,而非人工智能专家和更专注于获得准确解决方案的最终用户则缺乏这些知识。因此,解释人工智能决策的能力往往被认为是次要的,以达到最先进的结果或超越人类水平的准确性。
对XAI的兴趣,甚至来自各国政府,特别是欧洲通用数据保护条例(GDPR) [AIHLEG2019]的规定,显示出AI的伦理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics], trust [Weld2019, Lui2018, Hengstler2016], bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要实现,以及对抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺骗分类器决策方面的影响。在[Miller2019], Miller等人描述了好奇心是人们要求解释具体决策的主要原因之一。另一个原因可能是为了促进更好的学习——重塑模型设计并产生更好的结果。每种解释都应该在相似的数据点上保持一致,并且随着时间的推移对同一数据点产生稳定或相似的解释[Sokol2020]。解释应该使人工智能算法表达,以提高人类的理解能力,提高决策的信心,并促进公正和公正的决策。因此,为了在ML决策过程中保持透明度、信任和公平性,ML系统需要一个解释或可解释的解决方案。
解释是一种验证人工智能代理或算法的输出决策的方法。对于一个使用显微图像的癌症检测模型,解释可能意味着一个输入像素的地图,这有助于模型输出。对于语音识别模型,解释可能是特定时间内的功率谱信息对当前输出决策的贡献较大。解释也可以基于参数或激活的训练模型解释或使用代理,如决策树或使用梯度或其他方法。在强化学习算法的背景下,一个解释可能会给出为什么一个代理做了一个特定的决定。然而,可解释和可解释的人工智能的定义通常是通用的,可能会引起误解[Rudin2019],应该整合某种形式的推理[Doran2018]。
AI模型的集合,比如决策树和基于规则的模型,本质上是可解释的。但是,与深度学习模型相比,存在可解释性与准确性权衡的缺点。本文讨论了研究人员解决深度学习算法可解释性问题的不同方法和观点。如果模型参数和体系结构是已知的,方法可以被有效地使用。然而,现代基于api的人工智能服务带来了更多的挑战,因为该问题的相对“黑箱”(Castelvecchi2016)性质,即终端用户只掌握提供给深度学习模型的输入信息,而不是模型本身。
在这个综述中,我们提供了一个可解释算法的全面概述,并将重要事件的时间轴和研究出版物划分为三个定义完好的分类,如图1所示。不像许多其他的综述,只分类和总结在一个高水平上发表的研究,我们提供额外的数学概述和算法的重大工作在XAI领域。调查中提出的算法被分成三个定义明确的类别,下面将详细描述。文献中提出的各种评价XAI的技术也进行了讨论,并讨论了这些方法的局限性和未来的发展方向。
我们的贡献可以概括如下:
为了系统地分析深度学习中可解释和可解释的算法,我们将XAI分类为三个定义明确的类别,以提高方法的清晰度和可访问性。
我们审查,总结和分类的核心数学模型和算法,最近XAI研究提出的分类,并讨论重要工作的时间。
我们生成并比较了八种不同XAI算法的解释图,概述了这种方法的局限性,并讨论了使用深度神经网络解释来提高信任、透明度、偏差和公平的未来可能的方向。
主题: Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey
摘要: 如今,深度神经网络已广泛应用于对医疗至关重要的任务关键型系统,例如医疗保健,自动驾驶汽车和军事领域,这些系统对人类生活产生直接影响。然而,深层神经网络的黑匣子性质挑战了其在使用中的关键任务应用,引发了引起信任不足的道德和司法问题。可解释的人工智能(XAI)是人工智能(AI)的一个领域,它促进了一系列工具,技术和算法的产生,这些工具,技术和算法可以生成对AI决策的高质量,可解释,直观,人类可理解的解释。除了提供有关深度学习当前XAI格局的整体视图之外,本文还提供了开创性工作的数学总结。我们首先提出分类法,然后根据它们的解释范围,算法背后的方法,解释级别或用法对XAI技术进行分类,这有助于建立可信赖,可解释且自解释的深度学习模型。然后,我们描述了XAI研究中使用的主要原理,并介绍了2007年至2020年XAI界标研究的历史时间表。在详细解释了每种算法和方法之后,我们评估了八种XAI算法对图像数据生成的解释图,讨论了其局限性方法,并提供潜在的未来方向来改进XAI评估。
知识图谱封装了实体和关系。知识图谱的简洁表示格式和图的特性使得许多新的Web应用程序得以创建,并增强了现有的应用性能。然而,在一个知识图谱中,描述一个实体的几十个或几百个事实可能会超出一个典型用户界面的能力,并使用户超载过多的信息。这激发了对实体摘要的富有成果的研究——为实体自动生成紧凑的摘要,以高效和有效地满足用户的信息需求。例如,在其搜索结果页面右侧,谷歌通过选择和显示用户可能正在搜索的特定实体的一些事实,为其知识图中的实体提供“最佳摘要”。
近年来,研究人员通过提出从纯粹的排序和挖掘技术到机器和深度学习技术等各种方法,对这个问题做出了贡献。技术水平不断提高,同时也使社区和新来者很难跟上该领域最近和过去的贡献。此外,尽管知识图谱在学术界和产业界越来越流行,但迄今为止还没有对该问题领域的最新趋势和基本构件进行教育和讨论。本教程的目的就是填补这一空白。
链接: https://pan.baidu.com/s/1qSv16wZEAJWUcwx40ByvwQ 提取码: g9bq
【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。由于疫情影响,这次会议在线上举行,本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。小编推荐一份图深度学习-图神经网络教程,预览版可以查看。
从图数据和关系数据中学习在许多应用中起着重要的作用,包括社交网络分析、市场营销、电子商务、信息检索、知识建模、医学和生物科学、工程等。在过去的几年里,图神经网络(GNNs)已经成为一种很有前途的新型监督学习框架,能够将深度表示学习的能力引入到图和关系数据中。越来越多的研究表明,GNNs在链路预测、欺诈检测、目标配体结合活性预测、知识图谱补全和产品推荐等方面的性能达到了最新水平。
本教程的目标有两个。首先,它将概述GNN背后的理论,讨论GNN非常适合的问题类型,并介绍一些最广泛使用的GNN模型体系结构和设计用来解决的问题/应用程序。其次,它将引入深度图库(Deep Graph Library, DGL),这是一种新的软件框架,简化了高效的基于GNN的训练和推理程序的开发。为了使事情更具体,本教程将提供使用DGL的实践会话。这个实践部分将涵盖基本的图形应用程序(例如,节点分类和链接预测),以及更高级的主题,包括在大型图和分布式设置中训练GNN。此外,它还将提供使用GNNs和DGL进行实际应用(如推荐和欺诈检测)的实践教程。
第1节:图神经网络概述。本节描述了图神经网络是如何运作的,它们的基本理论,以及它们相对于其他图学习方法的优势。此外,它还描述了图形上的各种学习问题,并展示了如何使用GNNs来解决这些问题。
第2节:深度图库(DGL)概述。本节描述DGL提供的不同的抽象和api,这些抽象和api旨在简化GNN模型的实现,并解释DGL如何与MXNet、Pytorch和TensorFlow进行接口。然后介绍DGL的消息传递API,该API可用于开发任意复杂的GNNs和它提供的预定义GNN nn模块。
第3节:基本图任务的GNN模型。本节演示如何使用GNNs解决四个关键的图数据学习任务:节点分类、链接预测、图数据分类和网络嵌入前训练。它将展示如何使用DGL的nn模块实现一个流行的GNN模型GraphSage,并展示如何在不同类型的下游任务中使用由GraphSage计算出的节点嵌入。此外,本文还将演示使用DGL的消息传递接口实现定制的GNN模型。
第4节:大型图的GNN训练。本节使用第3节中描述的一些模型来演示DGL中的微型批处理训练、多GPU训练和分布式训练。它首先描述了mini-batch训练的概念如何应用于GNN,以及如何通过使用各种抽样技术来加速mini-batch计算。接下来将举例说明一种称为邻接抽样的抽样技术,如何使用木星笔记本在DGL中实现。然后将该笔记本扩展为多GPU训练和分布式训练。
第5节:实际应用的GNN模型。本节使用前面几节中描述的技术,展示如何使用GNNs开发用于推荐和欺诈检测的可伸缩解决方案。在推荐方面,本文提出了一种基于最近邻的项目推荐方法,该方法通过采用端到端的学习方法,利用GNN模型学习项目嵌入。对于欺诈检测,它扩展了上一节中的节点分类模型,以处理异构图,并解决了标记样本很少的情况。
【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.
可解释AI:基础、工业应用、实际挑战和经验教训
地址: https://xaitutorial2020.github.io/
Tutorial 目标 本教程的目的是为以下问题提供答案:
什么是可解释的AI (XAI)
我们为什么要关心?
哪里是关键?
它是如何工作的?
我们学到了什么?
下一个是什么?
概述
人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。
本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。
Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。
目录与内容
第一部分: 介绍和动机
人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。
第二部分: 人工智能的解释(不仅仅是机器学习!)
人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。
第三部分: 可解释的机器学习(从机器学习的角度)
在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。
第四部分: 可解释的机器学习(从知识图谱的角度)
在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。
第五部分: XAI工具的应用、经验教训和研究挑战
我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。
【导读】人工智能领域的国际顶级会议 AAAI 2019 即将于 1 月 27 日至 2 月 1 日在美国夏威夷举行。AAAI2019第一天的关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,是构建可解释模型的重要指南.
AI系统--我如何信任它们?
在现实生活中,每一个决策,无论是由机器还是低级员工又或是首席执行官做出的,为了达到提高整体的业务水平的目的,都要通过定期的审查,来解释他们的决定。这就产生了人工智能的新兴分支,称为“可解释的人工智能”(XAI)。
什么是可解释的AI(XAI)?
XAI是人工智能的一个新兴分支,用于解释人工智能所做出的每一个决策背后的逻辑。下图是对一个完整AI决策流程的简单描述。
AAAI 2019 tutorial: 可解释AI –从理论到动机,应用和局限性
一、本教程希望为以下问题提供答案:
什么是可解释的AI (XAI)?
什么是可解释的AI(简称XAI),即人工智能社区的各种流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解释是什么?解释的度量标准是什么?
我们为什么要在意?
为什么可解释的人工智能很重要?甚至在某些应用中至关重要?解释人工智能系统的动机是什么?
它在哪里至关重要?
在现实世界中,哪些应用程序需要解释如何大规模部署AI系统?
它是如何工作的?
在计算机视觉和自然语言处理中,最前沿的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,哪些方法效果好,哪些方法效果不好?
我们学到了什么?
部署现有可解释AI系统的经验教训和局限性是什么?在向人类解释的过程中学到了什么?
接下来的发展是什么?
可解释AI未来的发展方向是什么?
二、概述
人工智能的未来在于使人们能够与机器协作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通,信任,清晰和理解。 可解释AI(XAI,eXplainable AI)旨在通过将符号人工智能与传统机器学习的最佳结合来应对这些挑战。多年来,人工智能的各个不同社区都在研究这一主题,它们有着不同的定义、评估指标、动机和结果。本教程简要介绍了可解释AI到目前为止的工作,并调研了人工智能社区在机器学习和符号人工智能相关方法方面所完成的工作。
在本教程的第一部分中,我们将介绍AI解释的不同方面。然后我们将本教程的重点放在两个具体的方法上:(i)使用机器学习的可解释AI和(ii)使用基于图(graph)的知识表示和机器学习结合的可解释AI。对于这两者,我们深入探讨了该方法的具体细节,现有技术以及后续步骤的研究挑战。本教程的最后一部分概述了可解释AI的实际应用。
三、大纲
【介绍】
人工智能解释的广泛介绍。这将包括从理论和应用的角度描述和激发对可解释AI技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同视角。
【可解释AI】
人工智能的各个领域(优化,知识表示和推理,机器学习,搜索和约束优化,规划,自然语言处理,机器人和视觉)的解释概述,使每个人对解释的不同定义保持一致。本教程将涵盖大多数定义,但只会深入以下领域:(i)可解释的机器学习,(ii)具有知识图和ML的可解释AI。
【可解释机器学习】
在本节中,我们将解决可解释的机器学习pipeline的广泛问题。我们描述了机器学习社区中可解释性的概念,并通过描述一些流行的可解释性模型来继续。本节的核心是对不同类别的黑箱问题进行分析,从黑箱模型讲解到黑箱结果讲解,最后是黑箱检查。
【用知识图谱和ML解释AI】
在本教程的这一部分中,我们将从两个不同的角度阐述基于图的知识库的解释力:
用语义网和逻辑解释AI
我们展示了支持语义web的模式丰富的、基于图的知识表示范式是如何实现有效解释的。本节还将重点介绍从大型异构知识库中表示和推断有效解释的逻辑和推理方法。
基于知识图谱的机器学习
在本节中,我们将重点讨论知识图嵌入模型,即将知识图中的概念编码为连续低维向量的神经架构。这些模型已经被证明对许多机器学习任务有效,特别是知识库的完成。我们解释了这些模型的基本原理和架构,并从它们的不可预测性以及如何增强第三方模型的可解释性的角度对它们进行了考察。
【应用】
我们展示了应用解释技术的真实示例。我们关注一些使用案例:i)具有内置解释功能的可解释的航班延误预测系统; ii)基于知识图的语义推理,预测和解释企业项目风险层次的大范围合同管理系统;iii) 500多个城市的大型组织员工异常报销的识别、解释和预测的费用体系。
Tutorial的讲者
PPT下载链接:https://pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取码:aq79
讲座题目
工业中可解释的人工智能:Fake News Research: Theories, Detection Strategies, and Open Problems
讲座简介
人工智能在决定我们的日常经验方面越来越发挥着不可或缺的作用。此外,随着基于人工智能的解决方案在招聘、借贷、刑事司法、医疗和教育等领域的普及,人工智能对个人和职业的影响是深远的。人工智能模型在这些领域发挥的主导作用导致人们越来越关注这些模型中可能存在的偏见,以及对模型透明度和可解释性的需求。此外,模型可解释性是在需要可靠性和安全性的高风险领域(如医疗保健和自动化运输)和具有重大经济意义的关键工业应用(如预测性维护、自然资源勘探和气候变化模型。 因此,人工智能研究者和实践者把注意力集中在可解释的人工智能上,以帮助他们更好地信任和理解大规模的模型。研究界面临的挑战包括(i)定义模型可解释性,(ii)制定可解释性任务以理解模型行为并为这些任务制定解决方案,最后(iii)设计评估模型在可解释性任务中的性能的措施。 在本教程中,我们将概述人工智能中模型的可解释性和可解释性、关键法规/法律以及作为人工智能/建模语言系统一部分提供可解释性的技术/工具。然后,我们将重点关注可解释性技术在工业中的应用,其中我们提出了有效使用可解释性技术的实际挑战/指导方针,以及为多个web规模的机器学习和数据挖掘应用部署可解释模型的经验教训。我们将介绍跨不同公司的案例研究,涉及招聘、销售、贷款和欺诈检测等应用领域。最后,根据我们在行业中的经验,我们将确定数据挖掘/机器学习社区的开放性问题和研究方向。
讲座嘉宾
Krishna Gade是Fiddler Labs的创始人兼首席执行官,Fiddler Labs是一家企业初创企业,它构建了一个可解释的人工智能引擎,以解决人工智能中有关偏见、公平性和透明度的问题。克里希纳是一位企业家和工程领袖,在创建可扩展平台和令人愉悦的消费品方面有着丰富的技术经验,他曾在Facebook、Pinterest、Twitter和微软担任高级工程领导职务。他曾多次应邀在著名的从业人员论坛上发表演讲,包括在2019年的Strata Data Conference上就解决人工智能中的偏见、公平性和透明度问题发表演讲.