目前,深度神经网络广泛应用于医疗、自动驾驶汽车、军事等直接影响人类生活的关键任务系统。然而,深度神经网络的黑箱特性对其在关键任务应用中的应用提出了挑战,引发了道德和司法方面的担忧,导致信任缺失。可解释人工智能(XAI)是人工智能(AI)的一个领域,它促进了一套工具、技术和算法,可以生成高质量的可解释的、直观的、人类可以理解的人工智能决策解释。除了在深度学习中提供当前XAI景观的整体视图外,本文还提供了开创性工作的数学总结。首先,我们根据XAI技术的解释范围、算法背后的方法论以及有助于构建可信、可解释和自解释的深度学习模型的解释级别或用法,提出了一种分类和分类方法。然后,我们描述了在XAI研究中使用的主要原则,并给出了2007年至2020年XAI里程碑式研究的历史时间表。在详细解释了每一类算法和方法之后,我们对8种XAI算法在图像数据上生成的解释图进行了评估,讨论了该方法的局限性,并为进一步改进XAI评估提供了潜在的方向。

基于人工智能(AI)的算法,尤其是使用深度神经网络的算法,正在改变人类完成现实任务的方式。近年来,机器学习(ML)算法在科学、商业和社会工作流的各个方面的自动化应用出现了激增。这种激增的部分原因是ML领域(被称为深度学习(DL))研究的增加,在深度学习中,数千(甚至数十亿)个神经元参数被训练用于泛化执行特定任务。成功使用DL算法在医疗(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],发育障碍(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主机器人和车辆(You2019、Grigorescu2019 Feng2020],在图像处理的分类和检测[Sahba2018 Bendre2020Human], 在语音和音频处理(Boles2017, Panwar2017),网络安全(Parra2020Detecting, Chacon2019Deep), 还有更多DL算法在我们日常生活中被成功应用。

深度神经网络中大量的参数使其理解复杂,不可否认地更难解释。不管交叉验证的准确性或其他可能表明良好学习性能的评估参数如何,深度学习(DL)模型可能天生就能从人们认为重要的数据中学习表示,也可能无法从这些数据中学习表示。解释DNNs所做的决策需要了解DNNs的内部运作,而非人工智能专家和更专注于获得准确解决方案的最终用户则缺乏这些知识。因此,解释人工智能决策的能力往往被认为是次要的,以达到最先进的结果或超越人类水平的准确性。

对XAI的兴趣,甚至来自各国政府,特别是欧洲通用数据保护条例(GDPR) [AIHLEG2019]的规定,显示出AI的伦理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics], trust [Weld2019, Lui2018, Hengstler2016], bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要实现,以及对抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺骗分类器决策方面的影响。在[Miller2019], Miller等人描述了好奇心是人们要求解释具体决策的主要原因之一。另一个原因可能是为了促进更好的学习——重塑模型设计并产生更好的结果。每种解释都应该在相似的数据点上保持一致,并且随着时间的推移对同一数据点产生稳定或相似的解释[Sokol2020]。解释应该使人工智能算法表达,以提高人类的理解能力,提高决策的信心,并促进公正和公正的决策。因此,为了在ML决策过程中保持透明度、信任和公平性,ML系统需要一个解释或可解释的解决方案。

解释是一种验证人工智能代理或算法的输出决策的方法。对于一个使用显微图像的癌症检测模型,解释可能意味着一个输入像素的地图,这有助于模型输出。对于语音识别模型,解释可能是特定时间内的功率谱信息对当前输出决策的贡献较大。解释也可以基于参数或激活的训练模型解释或使用代理,如决策树或使用梯度或其他方法。在强化学习算法的背景下,一个解释可能会给出为什么一个代理做了一个特定的决定。然而,可解释和可解释的人工智能的定义通常是通用的,可能会引起误解[Rudin2019],应该整合某种形式的推理[Doran2018]。

AI模型的集合,比如决策树和基于规则的模型,本质上是可解释的。但是,与深度学习模型相比,存在可解释性与准确性权衡的缺点。本文讨论了研究人员解决深度学习算法可解释性问题的不同方法和观点。如果模型参数和体系结构是已知的,方法可以被有效地使用。然而,现代基于api的人工智能服务带来了更多的挑战,因为该问题的相对“黑箱”(Castelvecchi2016)性质,即终端用户只掌握提供给深度学习模型的输入信息,而不是模型本身。

在这个综述中,我们提供了一个可解释算法的全面概述,并将重要事件的时间轴和研究出版物划分为三个定义完好的分类,如图1所示。不像许多其他的综述,只分类和总结在一个高水平上发表的研究,我们提供额外的数学概述和算法的重大工作在XAI领域。调查中提出的算法被分成三个定义明确的类别,下面将详细描述。文献中提出的各种评价XAI的技术也进行了讨论,并讨论了这些方法的局限性和未来的发展方向。

我们的贡献可以概括如下:

  • 为了系统地分析深度学习中可解释和可解释的算法,我们将XAI分类为三个定义明确的类别,以提高方法的清晰度和可访问性。

  • 我们审查,总结和分类的核心数学模型和算法,最近XAI研究提出的分类,并讨论重要工作的时间。

  • 我们生成并比较了八种不同XAI算法的解释图,概述了这种方法的局限性,并讨论了使用深度神经网络解释来提高信任、透明度、偏差和公平的未来可能的方向。

成为VIP会员查看完整内容
0
45

相关内容

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。

成为VIP会员查看完整内容
0
39

主题: Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

摘要: 如今,深度神经网络已广泛应用于对医疗至关重要的任务关键型系统,例如医疗保健,自动驾驶汽车和军事领域,这些系统对人类生活产生直接影响。然而,深层神经网络的黑匣子性质挑战了其在使用中的关键任务应用,引发了引起信任不足的道德和司法问题。可解释的人工智能(XAI)是人工智能(AI)的一个领域,它促进了一系列工具,技术和算法的产生,这些工具,技术和算法可以生成对AI决策的高质量,可解释,直观,人类可理解的解释。除了提供有关深度学习当前XAI格局的整体视图之外,本文还提供了开创性工作的数学总结。我们首先提出分类法,然后根据它们的解释范围,算法背后的方法,解释级别或用法对XAI技术进行分类,这有助于建立可信赖,可解释且自解释的深度学习模型。然后,我们描述了XAI研究中使用的主要原理,并介绍了2007年至2020年XAI界标研究的历史时间表。在详细解释了每种算法和方法之后,我们评估了八种XAI算法对图像数据生成的解释图,讨论了其局限性方法,并提供潜在的未来方向来改进XAI评估。

成为VIP会员查看完整内容
0
31

深度神经网络(DNN)是实现人类在许多学习任务上的水平的不可缺少的机器学习工具。然而,由于其黑箱特性,很难理解输入数据的哪些方面驱动了网络的决策。在现实世界中,人类需要根据输出的dna做出可操作的决定。这种决策支持系统可以在关键领域找到,如立法、执法等。重要的是,做出高层决策的人员能够确保DNN决策是由数据特征的组合驱动的,这些数据特征在决策支持系统的部署上下文中是适当的,并且所做的决策在法律上或伦理上是可辩护的。由于DNN技术发展的惊人速度,解释DNN决策过程的新方法和研究已经发展成为一个活跃的研究领域。在定义什么是能够解释深度学习系统的行为和评估系统的“解释能力”时所存在的普遍困惑,进一步加剧了这种复杂性。为了缓解这一问题,本文提供了一个“领域指南”,为那些在该领域没有经验的人提供深度学习解释能力指南: i)讨论了研究人员在可解释性研究中增强的深度学习系统的特征,ii)将可解释性放在其他相关的深度学习研究领域的背景下,iii)介绍了定义基础方法空间的三个简单维度。

成为VIP会员查看完整内容
0
52

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开。来自美国Linkedin、AWS等几位学者共同给了关于在工业界中可解释人工智能的报告,讲述了XAI概念、方法以及面临的挑战和经验教训。

人工智能在我们的日常生活中扮演着越来越重要的角色。此外,随着基于人工智能的解决方案在招聘、贷款、刑事司法、医疗和教育等领域的普及,人工智能对个人和职业的影响将是深远的。人工智能模型在这些领域所起的主导作用已经导致人们越来越关注这些模型中的潜在偏见,以及对模型透明性和可解释性的需求。此外,模型可解释性是在需要可靠性和安全性的高风险领域(如医疗和自动化交通)以及具有重大经济意义的关键工业应用(如预测维护、自然资源勘探和气候变化建模)中建立信任和采用人工智能系统的先决条件。

因此,人工智能的研究人员和实践者将他们的注意力集中在可解释的人工智能上,以帮助他们更好地信任和理解大规模的模型。研究界面临的挑战包括 (i) 定义模型可解释性,(ii) 为理解模型行为制定可解释性任务,并为这些任务开发解决方案,最后 (iii)设计评估模型在可解释性任务中的性能的措施。

在本教程中,我们将概述AI中的模型解译性和可解释性、关键规则/法律以及作为AI/ML系统的一部分提供可解释性的技术/工具。然后,我们将关注可解释性技术在工业中的应用,在此我们提出了有效使用可解释性技术的实践挑战/指导方针,以及在几个网络规模的机器学习和数据挖掘应用中部署可解释模型的经验教训。我们将介绍不同公司的案例研究,涉及的应用领域包括搜索和推荐系统、销售、贷款和欺诈检测。最后,根据我们在工业界的经验,我们将确定数据挖掘/机器学习社区的开放问题和研究方向。

https://sites.google.com/view/www20-explainable-ai-tutorial

成为VIP会员查看完整内容
0
99

【导读】可解释人工智能(Explainable Artificial Intelligence)旨在于具备可为人类所理解的功能或运作机制,具备透明度, 是当前AI研究的热点,是构建和谐人机协作世界必要的条件,是构建负责任人工智能的基础。最近来自法国西班牙等8家机构12位学者共同发表了关于可解释人工智能XAI最新进展的综述论文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》,共67页pdf调研了402篇文献,讲解了最新可解释人工智能的进展,集大成者,梳理了XAI的体系,并提出构建负责任人工智能的内涵,非常具有指引性。

在过去的几年里,人工智能(AI)取得了显著的发展势头,在不同领域的许多应用中它可能会带来最好的预期。当这种情况发生时,整个社区都面临可解释性的障碍,这是人工智能技术的一个内在问题,它是由次象征主义(模型例如集成算法或深层神经网络)带来的,而这些在人工智能的最上一次高潮中是不存在的。这个问题背后的范例属于所谓的可解释AI (XAI)领域,它被认为是AI模型实际部署的一个关键特性。本文综述了XAI领域的现有文献,并对未来的研究方向进行了展望。我们总结了在机器学习中定义可解释性的前期工作,建立了一个新的定义,它涵盖了先前的概念命题,主要关注可解释性所关心的受众。然后,我们提出并讨论了与不同机器学习模型的可解释性相关的最近贡献的分类,包括那些旨在建立第二种体系的深度学习方法。这篇文献分析为XAI面临的一系列挑战提供了背景,比如数据融合和可解释性之间的十字路口。我们构建了负责任的人工智能的概念,即一种以公平、模型可解释性和问责性为核心的在真实组织中大规模实施人工智能方法的方法。最终目标是为XAI的新来者提供参考资料,以促进未来的研究进展,同时也鼓励其他学科的专家和专业人员在他们的活动领域拥抱AI的好处,而不是因为它缺乏可解释性而事先有任何偏见。

关键词: 可解释人工智能,机器学习,深度学习,数据融合,可解释性,可理解性,透明性,隐私,公平性,可问责性,负责任的人工智能。

目录

    1. 引言
    1. 可解释性: 是什么,为什么,什么目标,怎么做?
    1. 透明机器学习模型
    1. 机器学习模型的后解释技术:分类法、浅层模型和深度学习
    1. XAI:机遇、挑战和研究需求
    1. 走向负责任的人工智能:人工智能、公平、隐私和数据融合的原则
    1. 结论和展望

1. 引言

人工智能(AI)是许多采用新信息技术的活动领域的核心。人工智能的起源可以追溯到几十年前,人们对于智能机器具有学习、推理和适应能力的重要性有着明确的共识。正是凭借这些能力,人工智能方法在学习解决日益复杂的计算任务时达到了前所未有的性能水平,这对人类社会[2]的未来发展至关重要。近来,人工智能系统的复杂程度已经提高到几乎不需要人为干预来设计和部署它们。当来自这些系统的决策最终影响到人类的生活(例如,医学、法律或国防)时,就有必要了解这些决策是如何由人工智能方法[3]提供的。

最早的人工智能系统是很容易解释的,过去的几年见证了不透明的决策系统的兴起,比如深度神经网络(DNNs)。深度学习(DL)模型(如DNNs)的经验成功源于高效的学习算法及其巨大的参数空间的结合。后一个空间由数百层和数百万个参数组成,这使得DNNs被认为是复杂的黑盒模型[4]。black-box-ness的反义词是透明性,即以寻求对模型工作机理的直接理解。

随着黑箱机器学习(ML)模型越来越多地被用于在关键环境中进行重要的预测,人工智能[6]的各个利益相关者对透明度的要求也越来越高。危险在于做出和使用的决策不合理、不合法,或者不允许对其行为进行详细的解释。支持模型输出的解释是至关重要的,例如,在精准医疗中,为了支持诊断[8],专家需要从模型中获得远比简单的二进制预测多得多的信息。其他例子包括交通、安全、金融等领域的自动驾驶汽车。

一般来说,考虑到对合乎道德的人工智能[3]日益增长的需求,人类不愿采用不能直接解释、处理和信任的[9]技术。习惯上认为,如果只关注性能,系统将变得越来越不透明。从模型的性能和它的透明性[10]之间的权衡来看,这是正确的。然而,对一个系统理解的提高可以导致对其缺陷的修正。在开发ML模型时,将可解释性考虑为额外的设计驱动程序可以提高其可实现性,原因有三:

可解释性有助于确保决策的公正性,即检测并纠正训练数据集中的偏差。

可解释性通过强调可能改变预测的潜在对抗性扰动,促进了稳健性的提供。

可解释性可以作为一种保证,即只有有意义的变量才能推断出输出,即,以确保模型推理中存在真实的因果关系。

这意味着,为了考虑实际,系统的解释应该要么提供对模型机制和预测的理解,要么提供模型识别规则的可视化,要么提供可能扰乱模型[11]的提示。

为了避免限制当前一代人工智能系统的有效性,可解释人工智能(XAI)[7]建议创建一套ML技术,1) 产生更多可解释的模型,同时保持高水平的学习性能(如预测准确性),2) 使人类能够理解、适当信任和有效管理新一代人工智能伙伴。XAI还借鉴了社会科学的[12],并考虑了解释心理学。

avatar

图1: 过去几年中,标题、摘要和/或关键词涉及XAI领域的出版物总数的变化。通过提交图中所示的查询从Scopus R数据库检索到的数据(2019年10月14日)。值得注意的是,随着时间的推移,对可解释的AI模型的潜在需求(这符合直觉,因为在许多场景中,可解释性是一种要求),但直到2017年,解释AI模型的技术兴趣才渗透到整个研究领域。

这篇综述的其余部分的结构如下:首先,第2节和其中的子节围绕AI中的可解释性和可解释性展开了关于术语和概念的讨论,最后得出前面提到的可解释性的新定义(第2.1和2.2小节),以及从XAI的角度对ML模型进行分类和分析的一般标准。第3节和第4节回顾了ML模型(分别是透明模型和事后技术)的XAI的最新发现,它们构成了上述分类中的主要部分。同时,我们也回顾了这两种方法的混合,以达到XAI。在第5节中讨论了各种方法之间的协同作用的好处和注意事项,在这里,我们提出了对一般挑战的展望和需要谨慎对待的一些后果。最后,第6节阐述了负责任的人工智能的概念。第7节总结了调查,目的是让社区参与到这一充满活力的研究领域中来,这一领域有可能影响社会,特别是那些逐渐将ML作为其活动核心技术的部门。

2. 可解释性: 是什么,为什么,怎么做?

在继续我们的文献研究之前,我们可以先建立一个共同的观点来理解在AI的可解释性这个术语,更具体地说是ML中的含义。这确实是本节的目的,即暂停对这个概念的大量定义(什么?),讨论为什么可解释性在AI和ML中是一个重要的问题(为什么?目的何在?),并介绍XAI方法的一般分类,这将推动此后的文献研究(如何?)。

2.1 术语说明

阻碍建立共同基础的问题之一是interpretability 和explainability 在文献中的互换误用。这些概念之间存在着显著的差异。首先,interpretability 是指一个模型的被动特性,指的是一个给定的模型对人类观察者有意义的程度。这个特性也表示为透明性。相比之下,explainability 可以被看作是模型的主动特征,表示模型为了阐明或详述其内部功能而采取的任何动作或过程。

为了总结最常用的命名法,在本节中,我们将阐明在伦理AI和XAI社区中常用的术语之间的区别和相似性。

  • Understandability(或等同地,intelligibility)指的是一个模型的特征,使人理解其功能——模型如何工作——而不需要解释其内部结构或模型内部处理数据[18]的算法方法。

  • Comprehensibility: 在ML模型中,可理解性是指学习算法以人类可理解的方式表示其已学知识的能力[19,20,21]。这种模型可理解性的概念源于Michalski[22]的假设,即“计算机归纳的结果应该是对给定实体的符号描述,在语义和结构上类似于人类专家可能产生的观察相同实体的结果。”这些描述的组成部分应作为单一的‘信息块’可理解,可直接用自然语言解释,并应以综合方式将定量和定性概念联系起来”。由于难以量化,可理解性通常与模型复杂度[17]的评估联系在一起。

  • Interpretability可解释性是指以可理解的语言向人类解释或提供意义的能力。

  • Explainability可解释性与作为人类和决策者之间的接口的解释概念相关,同时,这也是决策者的准确代理,也是人类可以理解的[17]。

  • Transparency 透明度:如果一个模型本身是可以理解的,那么它就被认为是透明的。由于模型具有不同程度的可理解性,因此第3节中的透明模型分为三类: 可模拟模型、可分解模型和算法透明模型[5]。

2.2 什么?

虽然这可能被认为超出了本文的范围,但值得注意的是在哲学领域[23]中围绕一般解释理论展开的讨论。在这方面已经提出了许多建议,建议需要一种普遍的、统一的理论来近似解释的结构和意图。然而,在提出这样一个普遍的理论时,没有人经得起批评。就目前而言,最一致的想法是将不同的解释方法从不同的知识学科中融合在一起。在处理人工智能的可解释性时也发现了类似的问题。从文献中似乎还没有一个共同的观点来理解什么是可解释性或可解释性。然而,许多贡献声称是可解释(interpretable)模型和技术的成就增强了可解释性(explainability).

为了阐明这种缺乏共识的情况,我们不妨以D. Gunning在[7]中给出的可解释人工智能(XAI)的定义作为参考起点:

“XAI将创造一套机器学习技术,使人类用户能够理解、适当信任并有效管理新一代人工智能合作伙伴。

这个定义结合了两个需要提前处理的概念(理解和信任)。然而,它忽略了其他目的,如因果关系、可转移性、信息性、公平性和信心等,从而激发了对可解释AI模型的需求[5,24,25,26]。

进一步修正,我们给出explainable AI的定义:

给定一个受众,一个可解释的人工智能是一个产生细节或理由使其功能清晰或容易理解的人工智能。

这个定义在这里作为当前概述的第一个贡献,隐含地假设XAI技术针对当前模型的易用性和清晰性在不同的应用目的上有所恢复,比如更好地让用户信任模型的输出。

2.3 为什么?

如引言所述,可解释性是人工智能在实际应用中面临的主要障碍之一。无法解释或完全理解最先进的ML算法表现得如此出色的原因是一个问题,它的根源有两个不同的原因,如图2所示。

avatar

图2: 图中显示了在ML模型中由不同的用户配置文件寻找的可解释性的不同目的。它们有两个目标:模型理解的需要和法规遵从性。

2.4 什么目标?

到目前为止,围绕XAI的研究已经揭示出了不同的目标,以便从一个可解释的模型的实现中得出结论。几乎没有一篇被调研的论文在描述一个可解释的模型所要求的目标上是完全一致的。尽管如此,所有这些不同的目标都可能有助于区分特定的ML可解释性的目的。不幸的是,很少有人试图从概念的角度来界定这些目标[5、13、24、30]。我们现在综合并列举这些XAI目标的定义,以便为这篇综述涵盖的所有论文确定第一个分类标准:

avatar 图3. 可解释AI不同的度量维度

  • 可信赖性Trustworthiness:一些作者同意将可信赖性作为可解释AI模型的主要目标[31,32]。然而,根据模型诱导信任的能力将模型声明为可解释的可能并不完全符合模型可解释性的要求。可信度可以被认为是一个模型在面对给定问题时是否会按预期行事的信心。虽然它肯定是任何可解释模型的一个属性,但它并不意味着每一个值得信任的模型都可以被认为是可解释的,可信度也不是一个容易量化的属性。信任可能远远不是可解释模型的唯一目的,因为两者之间的关系,如果达成一致,并不是相互的。在综述的论文中,有一部分提到了信任的概念。但是,如表1所示,它们在最近与XAI相关的贡献中所占的份额并不大。

  • 因果关系Causality:可解释性的另一个常见目标是发现数据变量之间的因果关系。一些作者认为,可解释的模型可能简化了寻找关系的任务,如果它们发生,可以进一步测试所涉及的变量之间更强的因果关系[159,160]。从观测数据推断因果关系是一个随着时间的推移已经被广泛研究的领域[161]。正如从事这一主题的社区所广泛承认的那样,因果关系需要一个广泛的先验知识框架来证明所观察到的影响是因果关系。ML模型只发现它所学习的数据之间的相关性,因此可能不足以揭示因果关系。然而,因果关系涉及到相关性,所以一个可解释的ML模型可以验证因果推理技术提供的结果,或者在现有数据中提供可能的因果关系的第一直觉。同样,表1显示,如果我们关注那些将因果关系明确表述为目标的论文数量,因果关系就不是最重要的目标之一。

  • 可转移性Transferability: 模型总是受到一些约束,这些约束应该考虑到模型的无缝可转移性。这就是为什么在处理ML问题时使用训练-测试方法的主要原因[162,163]。可解释性也是可转移性的倡导者,因为它可以简化阐明可能影响模型的边界的任务,从而更好地理解和实现。类似地,仅仅理解模型中发生的内部关系有助于用户在另一个问题中重用这些知识。在某些情况下,缺乏对模型的正确理解可能会将用户推向错误的假设和致命的后果[44,164]。可转移性也应该落在可解释模型的结果属性之间,但同样,不是每个可转让性模型都应该被认为是可解释的。正如在表1中所观察到的,大量的论文指出,将一个模型描述为可解释的是为了更好地理解复用它或提高它的性能所需要的概念,这是追求模型可解释性的第二个最常用的理由。

  • 信息性Informativeness: ML模型的最终目的是支持决策[92]。然而,不应该忘记的是,模型所解决的问题并不等于它的人类对手所面临的问题。因此,为了能够将用户的决策与模型给出的解决方案联系起来,并避免陷入误解的陷阱,需要大量的信息。为此,可解释的ML模型应该提供有关正在处理的问题的信息。在文献综述中发现的主要原因是为了提取模型内部关系的信息。几乎所有的规则提取技术都证实了它们在寻找模型内部功能的更简单理解方面的方法,说明知识(信息)可以用这些更简单的代理来表示,它们认为这些代理可以解释先行词。这是在综述的论文中发现的最常用的论点,用来支持他们所期望的可解释模型。

  • 置信度Confidence: 作为稳健性和稳定性的概括,置信度的评估应该始终基于一个预期可靠性的模型。在控制下保持信心的方法因模型的不同而不同。正如在[165,166,167]中所述,当从某个模型中提取解释时,稳定性是必须具备的。可靠的解释不应该由不稳定的模型产生。因此,一个可解释的模型应该包含关于其工作机制可信度的信息。

  • 公平性Fairness:从社会的角度来看,在ML模型中,可解释性可以被认为是达到和保证公平性的能力。在一个特定的文献链中,一个可解释的ML模型建议对影响结果的关系进行清晰的可视化,允许对手头的模型进行公平或伦理分析[3,100]。同样,XAI的一个相关目标是强调模型所暴露的数据中的偏差[168,169]。在涉及人类生活的领域,对算法和模型的支持正在迅速增长,因此,可解释性应被视为避免不公平或不道德地使用算法输出的桥梁。

  • Accessibility可访问性: 评审贡献的认为可解释性是允许最终用户更多地参与改进和开发某个ML模型的过程的属性[37,86]。显然,可解释的模型将减轻非技术或非专业用户在处理乍一看似乎不可理解的算法时的负担。这一概念在被调查的文献中被认为是第三个最重要的目标。

  • 交互性Interactivity: 一些贡献[50,59]包括模型与用户交互的能力,这是可解释的ML模型的目标之一。同样,这个目标与最终用户非常重要的领域相关,他们调整模型并与之交互的能力是确保成功的关键。

  • 隐私意识Privacy awareness: 在回顾的文献中,几乎被遗忘的是,ML模型中可解释性的副产品之一是它评估隐私的能力。ML模型可能具有其所学习模式的复杂表示。无法理解模型[4]捕获并存储在其内部表示中的内容可能会导致隐私被破坏。相反,由未经授权的第三方解释训练过的模型的内部关系的能力也可能会损害数据来源的差异隐私。由于其在XAI预计将发挥关键作用的行业中的重要性,机密性和隐私问题将分别在第5.4和6.3小节中进一步讨论。

本小节回顾了所调研论文的广泛范围内所涉及的目标。所有这些目标都清楚地隐藏在本节前面介绍的可解释性概念的表面之下。为了总结之前对可解释性概念的分析,最后一小节讨论了社区为解决ML模型中的可解释性所采取的不同策略。

2.5 怎么样?

文献明确区分了可以通过设计解释的模型和可以通过外部XAI技术解释的模型。这种双重性也可以看作是可解释模型与模型可解释技术的区别;更广泛接受的分类是透明模型和事后可解释性。同样的对偶性也出现在[17]的论文中,作者所做的区分是指解决透明盒设计问题的方法,而不是解释黑盒子问题的方法。这项工作进一步扩展了透明模型之间的区别,包括考虑的不同透明度级别。

在透明性中,考虑了三个层次: 算法透明性、可分解性和可模拟性。在后设技术中,我们可以区分文本解释、可视化、局部解释、实例解释、简化解释和特征关联。在这种情况下,[24] 提出了一个更广泛的区别: 1)区分不透明的系统,其中从输入到输出的映射对用户来说是不可见的; 2)可解释系统,用户可以对映射进行数学分析; 3)可理解的系统,在这个系统中,模型应该输出符号或规则以及它们的特定输出,以帮助理解映射背后的基本原理。最后一个分类标准可以被认为包含在前面提出的分类标准中,因此本文将尝试遵循更具体的分类标准。

avatar

图4. 概念图举例透明度的不同层次描述Mϕ毫升模型,与ϕ表示模型的参数集的手:(一)可模拟性;(b)可分解性;(c)算法的透明度。

avatar

图5. 概念图显示了不同的因果explainability方法可供Mϕ毫升模型

3. 透明机器学习模型

前一节介绍了透明模型的概念。如果一个模型本身是可以理解的,那么它就被认为是透明的。本节调查的模型是一套透明模型,它可以属于前面描述的模型透明性的一个或所有级别(即可模拟性、可分解性和算法透明性)。在接下来的部分中,我们提供了该语句的理由,并提供了图6与图7中所示支持。

avatar

图6:ML模型可解释性分类的总体情况

avatar

图7: 本综述中所考虑的不同ML模型的透明度水平的图形说明:(a)线性回归;(b)决策树;(c)再邻居;(d)基于规则的学习者;(e)广义可加模型;(f)贝叶斯模型。

4. 机器学习模型的后解释技术:分类法、浅层模型和深度学习

当ML模型不满足宣布它们透明的任何标准时,必须设计一个单独的方法并应用于模型来解释它的决策。这就是事后可解释性技术(也称为建模后可解释性)的目的,它的目的是交流关于已经开发的模型如何对任何给定输入产生预测的可理解信息。在本节中,我们将对不同的算法方法进行分类和回顾,这些算法方法用于事后可解释性,区别于1) 那些为应用于任何类型的ML模型而设计的算法方法; 2) 那些是为特定的ML模型设计的,因此,不能直接推断到任何其他学习者。现在,我们详细阐述了不同ML模型的事后可解释性方面的趋势,这些趋势在图8中以分层目录的形式进行了说明,并在下面进行了总结:

用于事后解释的模型无关技术(4.1小节),可以无缝地应用于任何ML模型,而不考虑其内部处理或内部表示。

专为解释某些ML模型而定制或专门设计的事后解释能力。我们将我们的文献分析分为两个主要的分支:浅层ML模型的事后可解释性的贡献,这些贡献统称为所有不依赖于神经处理单元的分层结构的ML模型(第4.2小节);以及为深度学习模型设计的技术,这些技术相应地表示神经网络家族和相关变体,如卷积神经网络、递归神经网络(4.3小节)和包含深度神经网络和透明模型的混合方案。对于每一个模型,我们都对研究界提出的最新的事后方法进行了彻底的审查,并确定了这些贡献所遵循的趋势。

我们以4.4小节结束了我们的文献分析,在4.4小节中,我们提出了第二种分类法,通过对处理深度学习模型的事后解释的贡献进行分类,对图6中更一般的分类进行了补充。为此,我们将重点关注与这类黑盒ML方法相关的特定方面,并展示它们如何链接到第一种分类法中使用的分类标准。

avatar

图8. 综述文献的分类和与不同ML模型相关的可解释性技术的趋势。用蓝色、绿色和红色框起来的引用分别对应于使用图像、文本或表格数据的XAI技术。为了建立这种分类法,对文献进行了深入分析,以区分是否可以将后适应技术无缝地应用于任何ML模型,即使在其标题和/或摘要中明确提到了深度学习。

4.1 用于事后可解释性的模型不可知技术

用于事后可解释性的模型无关技术被设计成插入到任何模型,目的是从其预测过程中提取一些信息。有时,使用简化技术来生成模仿其前身的代理,目的是为了获得易于处理和降低复杂性的东西。其他时候,意图集中在直接从模型中提取知识,或者简单地将它们可视化,以简化对其行为的解释。根据第2节中介绍的分类法,与模型无关的技术可能依赖于模型简化、特征相关性估计和可视化技术。

4.2 浅ML模型的事后解释能力

Shallow ML覆盖了多种监督学习模型。在这些模型中,有一些严格可解释的(透明的)方法(如KNN和决策树,已经在第3节中讨论过)。考虑到它们在预测任务中的突出地位和显著性能,本节将集中讨论两种流行的浅ML模型(树集成和支持向量机,SVMs),它们需要采用事后可解释性技术来解释它们的决策

4.3 深度学习的可解释性

事后局部解释和特征相关技术正日益成为解释DNNs的主要方法。本节回顾了最常用的DL模型,即多层神经网络、卷积神经网络(CNN)和递归神经网络(RNN)的可解释性研究。

avatar

图9: 混合模型的图示。一个被认为是黑箱的神经网络可以通过将其与一个更具解释性的模型相关联来解释,如决策树[298]、一个(模糊的)基于规则的系统[19]或KNN[259]。

avatar

图10:(a) 可选的深度学习特定分类扩展自[13]的分类;(b)它与图6中的分类法的联系。

5. XAI:机遇、挑战和研究需求

现在,我们利用已完成的文献回顾,对ML和数据融合模型的可解释性领域的成就、趋势和挑战提出了批评。实际上,我们在讨论到目前为止在这一领域取得的进展时,已经预见到了其中的一些挑战。在本节中,我们将重新审视这些问题,并为XAI探索新的研究机会,找出可能的研究路径,以便在未来几年有效地解决这些问题:

在可解释性和性能之间的权衡

可解释性与性能的问题是一个随着时间不断重复的问题,但就像任何其他大命题一样,它的周围充满了神话和误解。

avatar

图11: 模型可解释性和性能之间的权衡,以及XAI技术和工具潜力所在的改进领域的表示

6. 走向负责任的人工智能:人工智能、公平、隐私和数据融合的原则

多年来,许多组织,无论是私人的还是公共的,都发布了指导方针,指出人工智能应该如何开发和使用。这些指导方针通常被称为人工智能原则,它们处理与个人和整个社会潜在的人工智能威胁相关的问题。本节将介绍一些最重要和被广泛认可的原则,以便将XAI(通常出现在它自己的原则中)与所有这些原则联系起来。如果在实践中寻求一个负责任的AI模型的实现和使用,我们公司声称XAI本身是不够的。其他重要的人工智能原则,如隐私和公平,在实践中必须谨慎处理。在接下来的章节中,我们将详细阐述负责任人工智能的概念,以及XAI和数据融合在实现其假设原则中的含义。

6.1 人工智能原则 Principles of Artificial Intelligence

使用人工智能系统后的输出不应导致在种族、宗教、性别、性取向、残疾、种族、出身或任何其他个人条件方面对个人或集体产生任何形式的歧视。因此,在优化人工智能系统的结果时要考虑的一个基本标准不仅是它们在错误优化方面的输出,而且是系统如何处理这些状况。这定义了公平AI的原则。

人们应该知道什么时候与人交流,什么时候与人工智能系统交流。人们还应该知道他们的个人信息是否被人工智能系统使用,以及用于什么目的。确保对人工智能系统的决策有一定程度的理解是至关重要的。这可以通过使用XAI技术来实现。重要的是,生成的解释要考虑将接收这些解释的用户的配置文件(根据小节2.2中给出的定义,所谓的受众),以便调整透明度级别,如[45]中所示。这定义了透明和可解释AI的原则。

人工智能产品和服务应始终与联合国的可持续发展目标保持一致[375],并以积极和切实的方式为之做出贡献。因此,人工智能应该总是为人类和公共利益带来好处。这定义了以人为中心的人工智能的原则(也称为社会公益的人工智能[376])。

人工智能系统,尤其是当它们由数据提供信息时,应该在其整个生命周期中始终考虑隐私和安全标准。这一原则并不排斥人工智能系统,因为它与许多其他软件产品共享。因此,它可以从公司内部已经存在的流程中继承。这通过设计定义了隐私和安全的原则,这也被认为是负责任的研究和创新范式下智能信息系统面临的核心伦理和社会挑战之一(RRI,[377])。RRI指的是一套方法学指南和建议,旨在从实验室的角度考虑更广泛的科学研究背景,以应对全球社会挑战,如可持续性、公众参与、伦理、科学教育、性别平等、开放获取和治理。有趣的是,RRI还要求在遵循其原则的项目中确保开放性和透明度,这与前面提到的透明和可解释的AI原则直接相关。

作者强调,所有这些原则都应该扩展到任何第三方(供应商、顾问、合作伙伴……)

6.2 公平和责任

如前一节所述,除了XAI之外,在过去十年中发布的不同AI原则指导方针中还包括许多关键方面。然而,这些方面并不是完全脱离了XAI;事实上,它们是交织在一起的。本节介绍了与人工智能原则指导具有巨大相关性的两个关键组成部分,即公平性和可说明性。这也突出了它们与XAI的联系。

6.3 隐私与数据融合

如今,几乎所有领域的活动中都存在着越来越多的信息源,这就要求采用数据融合方法,同时利用这些信息源来解决学习任务。通过合并异构信息,数据融合已被证明可以在许多应用程序中提高ML模型的性能。本节通过数据融合技术的潜力进行推测,以丰富ML模型的可解释性,并对从中学习ML模型的数据的私密性做出妥协。为此,我们简要概述了不同的数据融合范式,并从数据隐私的角度进行了分析。我们稍后会讲到,尽管XAI与负责任的人工智能相关,但在当前的研究主流中,XAI与数据融合是一个未知的研究领域。

avatar

图12: 显示可以执行数据融合的不同级别的关系图:(a)数据级别;(b)模型;(c)知识水平;(d)大数据融合;(e)联邦学习和(f)多视图学习。

7. 结论和展望

这篇综述围绕着可解释的人工智能(XAI)展开,它最近被认为是在现实应用中采用ML方法的最大需求。我们的研究首先阐明了模型可解释性背后的不同概念,并展示了激发人们寻找更多可解释的ML方法的各种目的。这些概念性的评注已经成为一个坚实的基础,系统地回顾最近关于可解释性的文献,这些文献从两个不同的角度进行了探讨:1) ML模型具有一定程度的透明性,因此可以在一定程度上自行解释; 2) 后特设XAI技术的设计,使ML模型更容易解释。这个文献分析已经产生了一个由社区报告的不同提案的全球分类,在统一的标准下对它们进行分类。在深入研究深度学习模型可解释性的贡献越来越普遍的情况下,我们深入研究了有关这类模型的文献,提出了一种可选择的分类方法,可以更紧密地连接深度学习模型可解释性的具体领域。

我们的讨论已经超越了XAI领域目前所取得的成果,转向了负责任的AI概念,即在实践中实现AI模型时必须遵循的一系列AI原则,包括公平、透明和隐私。我们还讨论了在数据融合的背景下采用XAI技术的含义,揭示了XAI在融合过程中可能会损害受保护数据的隐私。对XAI在公平方面的含义也进行了详细的讨论。

我们对XAI未来的思考,通过在整个论文中进行的讨论,一致认为有必要对XAI技术的潜力和警告进行适当的理解。我们的设想是,模型的可解释性必须与数据隐私、模型保密性、公平性和可靠性相关的需求和约束一起解决。只有联合研究所有这些人工智能原则,才能保证在全世界的组织和机构中负责任地实施和使用人工智能方法。

参考文献

  1. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach, Malaysia; Pearson Education Limited,, 2016.
  2. D. M. West, The future of work: robots, AI, and automation, Brookings Institution Press, 2018.
  3. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach,Malaysia; Pearson Education Limited,, 2016.
  4. D. M. West,The future of work: robots, AI, and automation, Brookings Institution Press,2018.
  5. B. Goodman,S. Flaxman, European union regulations on algorithmic decision-making and aright to explanation, AI Magazine 38 (3) (2017) 50–57.
  6. D. Castelvecchi, Can we open the black box of AI?, Nature News 538(7623) (2016) 20.
  7. Z. C. Lipton, The mythos of model interpretability, Queue 16 (3)(2018) 30:31–30:57.
  8. A. Preece, D. Harborne, D. Braines, R. Tomsett, S. Chakraborty,Stakeholders in Explainable AI (2018). arXiv:1810.00184.
  9. D. Gunning, Explainable artificial intelligence (xAI), Tech. rep.,Defense Advanced Research Projects Agency (DARPA) (2017).
  10. E. Tjoa, C. Guan, A survey on explainable artificial intelligence(XAI): Towards medical XAI (2019). arXiv:1907.07374.
  11. J. Zhu, A. Liapis, S. Risi, R. Bidarra, G. M. Youngblood, ExplainableAI for designers: A humancentered perspective on mixed-initiative co-creation,2018 IEEE Conference on Computational Intelligence and Games (CIG) (2018) 1–8.
  12. F. K. Do˜silovi´c, M. Br˜ci´c, N. Hlupi´c, Explainable artificialintelligence: A survey, in: 41st International Convention onInformation and Communication Technology, Electronics and Microelectronics (MIPRO),2018, pp. 210–215.
成为VIP会员查看完整内容
0
46

【导读】最新的一期《Science》机器人杂志刊登了关于XAI—Explainable artificial intelligence专刊,涵盖可解释人工智能的简述论文,论述了XAI对于改善用户理解、信任与管理AI系统的重要性。并包括5篇专刊论文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。

https://robotics.sciencemag.org/content/4/37/eaay7120

最近在机器学习(ML)方面的成功引发了人工智能(AI)应用的新浪潮,为各种领域提供了广泛的益处。然而,许多这些系统中不能向人类用户解释它们的自主决策和行为。对某些人工智能应用来说,解释可能不是必要的,一些人工智能研究人员认为,强调解释是错误的,太难实现,而且可能是不必要的。然而,对于国防、医学、金融和法律的许多关键应用,解释对于用户理解、信任和有效地管理这些新的人工智能合作伙伴是必不可少的(参见最近的评论(1-3))。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新ML技术。其中包括支持向量机(SVMs)、随机森林、概率图形模型、强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出了高性能,但它们在可解释性方面是不透明的。ML性能(例如,预测准确性)和可解释性之间可能存在固有的冲突。通常,性能最好的方法(如DL)是最不可解释的,而最可解释的方法(如决策树)是最不准确的。图1用一些ML技术的性能可解释性权衡的概念图说明了这一点。

图1 ML技术的性能与可解释性权衡。

(A)学习技巧和解释能力。(B)可解释模型:学习更结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系的学习模型,以及使用随机语法学习更多可解释的结构。深度学习:一些设计选择可能产生更多可解释的表示(例如,训练数据选择、架构层、损失函数、正则化、优化技术和训练序列)。模型不可知论者:对任意给定的ML模型(如黑箱)进行试验以推断出一个近似可解释的模型的技术。

什么是XAI?

一个可解释的人工智能(XAI)系统的目的是通过提供解释使其行为更容易被人类理解。有一些通用原则可以帮助创建有效的、更人性化的人工智能系统:XAI系统应该能够解释它的能力和理解;解释它已经做了什么,现在正在做什么,接下来会发生什么; 披露其所依据的重要信息(4)。

然而,每一个解释都是根据AI系统用户的任务、能力和期望而设置的。因此,可解释性和可解释性的定义是与域相关的,并且可能不是与域独立定义的。解释可以是全面的,也可以是片面的。完全可解释的模型给出了完整和完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释模型服从根据域定义的“可解释性约束”(例如,某些变量和相关变量的单调性服从特定关系),而黑箱或无约束模型不一定服从这些约束。部分解释可能包括变量重要性度量、局部模型(在特定点近似全局模型)和显著性图。

来自用户的期望

XAI假设向最终用户提供一个解释,该用户依赖于AI系统所产生的决策、建议或操作,然而可能有许多不同类型的用户,通常在系统开发和使用的不同时间点(5)。例如,一种类型的用户可能是智能分析师、法官或操作员。但是,需要对系统进行解释的其他用户可能是开发人员或测试操作员,他们需要了解哪里可能有改进的地方。然而,另一个用户可能是政策制定者,他们试图评估系统的公平性。每个用户组可能有一个首选的解释类型,能够以最有效的方式交流信息。有效的解释将考虑到系统的目标用户组,他们的背景知识可能不同,需要解释什么。

可操作性——评估和测量

一些方法提出了一些评价和衡量解释有效性的方法;然而,目前还没有通用的方法来衡量XAI系统是否比非XAI系统更容易被用户理解。其中一些度量是用户角度的主观度量,例如用户满意度,可以通过对解释的清晰度和实用性的主观评级来度量。解释有效性的更客观的衡量标准可能是任务绩效; 即,这样的解释是否提高了用户的决策能力?可靠和一致的测量解释的影响仍然是一个开放的研究问题。XAI系统的评价和测量包括评价框架、共同点[不同的思维和相互理解(6)]、常识和论证[为什么(7)]。

XAI -问题和挑战

在ML和解释的交集处仍然存在许多活跃的问题和挑战。

  1. 从电脑开始还是从人开始(8). XAI系统应该针对特定的用户进行解释吗?他们应该考虑用户缺乏的知识吗?我们如何利用解释来帮助交互式和人在循环的学习,包括让用户与解释交互以提供反馈和指导学习?

  2. 准确性与可解释性。XAI解释研究的一条主线是探索解释的技术和局限性。可解释性需要考虑准确性和保真度之间的权衡,并在准确性、可解释性和可处理性之间取得平衡。

  3. 使用抽象来简化解释。高级模式是在大步骤中描述大计划的基础。对抽象的自动发现一直是一个挑战,而理解学习和解释中抽象的发现和共享是当前XAI研究的前沿。

  4. 解释能力与解释决策。有资格的专家精通的一个标志是他们能够对新情况进行反思。有必要帮助终端用户了解人工智能系统的能力,包括一个特定的人工智能系统有哪些能力,如何衡量这些能力,以及人工智能系统是否存在盲点;也就是说,有没有一类解是永远找不到的?

从以人为本的研究视角来看,对能力和知识的研究可以使XAI超越解释特定XAI系统和帮助用户确定适当信任的角色。未来,XAIs可能最终会扮演重要的社会角色。这些角色不仅包括向个人学习和解释,而且还包括与其他代理进行协调以连接知识、发展跨学科见解和共同点、合作教授人员和其他代理,以及利用以前发现的知识来加速知识的进一步发现和应用。从这样一个知识理解和生成的社会视角来看,XAI的未来才刚刚开始。

本期刊论文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我们会相信机器人吗?科幻小说说没有,但可解释的机器人可能会找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最适合促进信任的解释方法不一定对应于那些有助于最佳任务性能的组件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的强化学习方法能从形式化的语言中获得回报,并保证了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

参考文献:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

成为VIP会员查看完整内容
0
51
小贴士
相关论文
Text Level Graph Neural Network for Text Classification
Lianzhe Huang,Dehong Ma,Sujian Li,Xiaodong Zhang,Houfeng WANG
4+阅读 · 2019年10月8日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
3+阅读 · 2019年4月25日
Sneha Chaudhari,Gungor Polatkan,Rohan Ramanath,Varun Mithal
11+阅读 · 2019年4月5日
Ziwei Zhang,Peng Cui,Wenwu Zhu
34+阅读 · 2018年12月11日
Joaquin Vanschoren
85+阅读 · 2018年10月8日
To Cluster, or Not to Cluster: An Analysis of Clusterability Methods
A. Adolfsson,M. Ackerman,N. C. Brownstein
3+阅读 · 2018年8月24日
Philip Schulz,Wilker Aziz,Trevor Cohn
5+阅读 · 2018年5月28日
Quanshi Zhang,Song-Chun Zhu
8+阅读 · 2018年2月7日
Peter Anderson,Qi Wu,Damien Teney,Jake Bruce,Mark Johnson,Niko Sünderhauf,Ian Reid,Stephen Gould,Anton van den Hengel
3+阅读 · 2017年11月24日
Top