主题: Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

摘要: 如今,深度神经网络已广泛应用于对医疗至关重要的任务关键型系统,例如医疗保健,自动驾驶汽车和军事领域,这些系统对人类生活产生直接影响。然而,深层神经网络的黑匣子性质挑战了其在使用中的关键任务应用,引发了引起信任不足的道德和司法问题。可解释的人工智能(XAI)是人工智能(AI)的一个领域,它促进了一系列工具,技术和算法的产生,这些工具,技术和算法可以生成对AI决策的高质量,可解释,直观,人类可理解的解释。除了提供有关深度学习当前XAI格局的整体视图之外,本文还提供了开创性工作的数学总结。我们首先提出分类法,然后根据它们的解释范围,算法背后的方法,解释级别或用法对XAI技术进行分类,这有助于建立可信赖,可解释且自解释的深度学习模型。然后,我们描述了XAI研究中使用的主要原理,并介绍了2007年至2020年XAI界标研究的历史时间表。在详细解释了每种算法和方法之后,我们评估了八种XAI算法对图像数据生成的解释图,讨论了其局限性方法,并提供潜在的未来方向来改进XAI评估。

成为VIP会员查看完整内容
0
70

相关内容

人工智能(Artificial Intelligence, AI )是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。 人工智能是计算机科学的一个分支。

目前,深度神经网络广泛应用于医疗、自动驾驶汽车、军事等直接影响人类生活的关键任务系统。然而,深度神经网络的黑箱特性对其在关键任务应用中的应用提出了挑战,引发了道德和司法方面的担忧,导致信任缺失。可解释人工智能(XAI)是人工智能(AI)的一个领域,它促进了一套工具、技术和算法,可以生成高质量的可解释的、直观的、人类可以理解的人工智能决策解释。除了在深度学习中提供当前XAI景观的整体视图外,本文还提供了开创性工作的数学总结。首先,我们根据XAI技术的解释范围、算法背后的方法论以及有助于构建可信、可解释和自解释的深度学习模型的解释级别或用法,提出了一种分类和分类方法。然后,我们描述了在XAI研究中使用的主要原则,并给出了2007年至2020年XAI里程碑式研究的历史时间表。在详细解释了每一类算法和方法之后,我们对8种XAI算法在图像数据上生成的解释图进行了评估,讨论了该方法的局限性,并为进一步改进XAI评估提供了潜在的方向。

基于人工智能(AI)的算法,尤其是使用深度神经网络的算法,正在改变人类完成现实任务的方式。近年来,机器学习(ML)算法在科学、商业和社会工作流的各个方面的自动化应用出现了激增。这种激增的部分原因是ML领域(被称为深度学习(DL))研究的增加,在深度学习中,数千(甚至数十亿)个神经元参数被训练用于泛化执行特定任务。成功使用DL算法在医疗(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],发育障碍(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主机器人和车辆(You2019、Grigorescu2019 Feng2020],在图像处理的分类和检测[Sahba2018 Bendre2020Human], 在语音和音频处理(Boles2017, Panwar2017),网络安全(Parra2020Detecting, Chacon2019Deep), 还有更多DL算法在我们日常生活中被成功应用。

深度神经网络中大量的参数使其理解复杂,不可否认地更难解释。不管交叉验证的准确性或其他可能表明良好学习性能的评估参数如何,深度学习(DL)模型可能天生就能从人们认为重要的数据中学习表示,也可能无法从这些数据中学习表示。解释DNNs所做的决策需要了解DNNs的内部运作,而非人工智能专家和更专注于获得准确解决方案的最终用户则缺乏这些知识。因此,解释人工智能决策的能力往往被认为是次要的,以达到最先进的结果或超越人类水平的准确性。

对XAI的兴趣,甚至来自各国政府,特别是欧洲通用数据保护条例(GDPR) [AIHLEG2019]的规定,显示出AI的伦理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics], trust [Weld2019, Lui2018, Hengstler2016], bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要实现,以及对抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺骗分类器决策方面的影响。在[Miller2019], Miller等人描述了好奇心是人们要求解释具体决策的主要原因之一。另一个原因可能是为了促进更好的学习——重塑模型设计并产生更好的结果。每种解释都应该在相似的数据点上保持一致,并且随着时间的推移对同一数据点产生稳定或相似的解释[Sokol2020]。解释应该使人工智能算法表达,以提高人类的理解能力,提高决策的信心,并促进公正和公正的决策。因此,为了在ML决策过程中保持透明度、信任和公平性,ML系统需要一个解释或可解释的解决方案。

解释是一种验证人工智能代理或算法的输出决策的方法。对于一个使用显微图像的癌症检测模型,解释可能意味着一个输入像素的地图,这有助于模型输出。对于语音识别模型,解释可能是特定时间内的功率谱信息对当前输出决策的贡献较大。解释也可以基于参数或激活的训练模型解释或使用代理,如决策树或使用梯度或其他方法。在强化学习算法的背景下,一个解释可能会给出为什么一个代理做了一个特定的决定。然而,可解释和可解释的人工智能的定义通常是通用的,可能会引起误解[Rudin2019],应该整合某种形式的推理[Doran2018]。

AI模型的集合,比如决策树和基于规则的模型,本质上是可解释的。但是,与深度学习模型相比,存在可解释性与准确性权衡的缺点。本文讨论了研究人员解决深度学习算法可解释性问题的不同方法和观点。如果模型参数和体系结构是已知的,方法可以被有效地使用。然而,现代基于api的人工智能服务带来了更多的挑战,因为该问题的相对“黑箱”(Castelvecchi2016)性质,即终端用户只掌握提供给深度学习模型的输入信息,而不是模型本身。

在这个综述中,我们提供了一个可解释算法的全面概述,并将重要事件的时间轴和研究出版物划分为三个定义完好的分类,如图1所示。不像许多其他的综述,只分类和总结在一个高水平上发表的研究,我们提供额外的数学概述和算法的重大工作在XAI领域。调查中提出的算法被分成三个定义明确的类别,下面将详细描述。文献中提出的各种评价XAI的技术也进行了讨论,并讨论了这些方法的局限性和未来的发展方向。

我们的贡献可以概括如下:

  • 为了系统地分析深度学习中可解释和可解释的算法,我们将XAI分类为三个定义明确的类别,以提高方法的清晰度和可访问性。

  • 我们审查,总结和分类的核心数学模型和算法,最近XAI研究提出的分类,并讨论重要工作的时间。

  • 我们生成并比较了八种不同XAI算法的解释图,概述了这种方法的局限性,并讨论了使用深度神经网络解释来提高信任、透明度、偏差和公平的未来可能的方向。

成为VIP会员查看完整内容
0
86

主题: Explainable Reinforcement Learning: A Survey

摘要: 可解释的人工智能(XAI),即更透明和可解释的AI模型的开发在过去几年中获得了越来越多的关注。这是由于这样一个事实,即AI模型随着其发展为功能强大且无处不在的工具而表现出一个有害的特征:性能与透明度之间的权衡。这说明了一个事实,即模型的内部工作越复杂,就越难以实现其预测或决策。但是,特别是考虑到系统像机器学习(ML)这样的方法(强化学习(RL))在系统自动学习的情况下,显然有必要了解其决策的根本原因。由于据我们所知,目前尚无人提供可解释性强化学习(XRL)方法的概述的工作,因此本调查试图解决这一差距。我们对问题进行了简短的总结,重要术语的定义以及提议当前XRL方法的分类和评估。我们发现a)大多数XRL方法通过模仿和简化一个复杂的模型而不是设计本质上简单的模型来起作用,并且b)XRL(和XAI)方法通常忽略了方程的人为方面,而不考虑相关领域的研究像心理学或哲学。因此,需要跨学科的努力来使所生成的解释适应(非专家)人类用户,以便有效地在XRL和XAI领域中取得进步。

成为VIP会员查看完整内容
0
51

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.

可解释AI:基础、工业应用、实际挑战和经验教训

地址https://xaitutorial2020.github.io/

Tutorial 目标 本教程的目的是为以下问题提供答案:

  • 什么是可解释的AI (XAI)

    • 什么是可解释的AI(简称XAI) ?,人工智能社区(机器学习、逻辑学、约束编程、诊断)的各种流有什么解释?解释的度量标准是什么?
  • 我们为什么要关心?

    • 为什么可解释的AI很重要?甚至在某些应用中至关重要?阐述人工智能系统的动机是什么?
  • 哪里是关键?

    • 在大规模部署人工智能系统时,真正需要解释的实际应用是什么?
  • 它是如何工作的?

    • 在计算机视觉和自然语言处理中,最先进的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,什么有效,什么没有效?
  • 我们学到了什么?

    • 部署现有XAI系统的经验教训和局限性是什么?在向人类解释的过程中?
  • 下一个是什么?

    • 未来的发展方向是什么?

概述

人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。

本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。

Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

目录与内容

第一部分: 介绍和动机

人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解释(不仅仅是机器学习!)

人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。

第三部分: 可解释的机器学习(从机器学习的角度)

在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。

第四部分: 可解释的机器学习(从知识图谱的角度)

在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。

第五部分: XAI工具的应用、经验教训和研究挑战

我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。

成为VIP会员查看完整内容
0
154

【导读】可解释AI是现在正火热的科研和工程问题。本文介绍Arxiv上的《Explanation in Human-AI Systems》,一篇关于可解释机器学习的综述,介绍了可解释机器学习的多学科观点、历史研究、模型、关键点等。

可解释AI是现在正火热的科研和工程问题。Arxiv上一篇《Explanation in Human-AI Systems: A Literature Meta-Review Synopsis of Key Ideas and Publications and Bibliography for Explainable AI》介绍了可解释机器学习的多学科观点、历史研究、模型、关键点等,PDF大概内容组织如下:

  • 目的、范围和本文组织结构
    • 该主题的重要性
    • 本文的组织结构
  • 多学科观点
    • 哲学
      • 逻辑学观点
      • 机械学观点
      • 统计学观点
      • 相对主义者/实用主义者的观点
    • 心理学
    • 可解释性与心理学
    • 社会心理学
    • 语言心理学
    • 团队科学
    • 其他人类因素、认知系统工程和决策辅助
    • 考虑多学科观点的总结
  • 从研究到相关主题的发现
    • 以前的综述
    • 公平、透明、安全、可靠、道德
    • 信任
    • 因果推理和外展推理
    • 事件和概念的因果和机械推理
    • 类比
    • 理解解释
    • 理解的失败和局限性
    • 复杂系统的理解
    • 反事实和对比推理
    • 个体差异与动机
    • 学习和概念形成
    • 心智模型
    • 前瞻推理与规划
    • 对话式解释
    • 自解释
    • 迁移和泛化
  • 关键论文和它们的贡献
  • AI系统的可解释性:历史研究的观点
  • 心理理论、假设和模型
    • 分类学
    • 解释性与基础认知过程的关系
    • 好解释的特性
    • 可解释推理的局限和缺点
    • 解释性推理的个体差异
    • 解释的概念模型
    • 心理模型的总结
  • 可解释性AI关键概念的概要
    • 解释的价值
    • 形式和内容
    • 可解释性
    • 解释和证明
    • 候选解释
    • 心智模型
    • 预期和前瞻
    • 全局和本地解释
    • 上下文依赖
    • 对比推理
    • 一致
    • 好的和满意的解释
    • 纠正的解释
    • 信任和可靠
    • 自解释
    • 主动探索作为连续过程
    • 解释作为协作和共同适应过程
    • 测量和评价
  • 可解释性AI系统的评价:人类参与的性能评价
成为VIP会员查看完整内容
0
39

【导读】可解释人工智能(Explainable Artificial Intelligence)旨在于具备可为人类所理解的功能或运作机制,具备透明度, 是当前AI研究的热点,是构建和谐人机协作世界必要的条件,是构建负责任人工智能的基础。最近来自法国西班牙等8家机构12位学者共同发表了关于可解释人工智能XAI最新进展的综述论文《Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI》,共67页pdf调研了402篇文献,讲解了最新可解释人工智能的进展,集大成者,梳理了XAI的体系,并提出构建负责任人工智能的内涵,非常具有指引性。

在过去的几年里,人工智能(AI)取得了显著的发展势头,在不同领域的许多应用中它可能会带来最好的预期。当这种情况发生时,整个社区都面临可解释性的障碍,这是人工智能技术的一个内在问题,它是由次象征主义(模型例如集成算法或深层神经网络)带来的,而这些在人工智能的最上一次高潮中是不存在的。这个问题背后的范例属于所谓的可解释AI (XAI)领域,它被认为是AI模型实际部署的一个关键特性。本文综述了XAI领域的现有文献,并对未来的研究方向进行了展望。我们总结了在机器学习中定义可解释性的前期工作,建立了一个新的定义,它涵盖了先前的概念命题,主要关注可解释性所关心的受众。然后,我们提出并讨论了与不同机器学习模型的可解释性相关的最近贡献的分类,包括那些旨在建立第二种体系的深度学习方法。这篇文献分析为XAI面临的一系列挑战提供了背景,比如数据融合和可解释性之间的十字路口。我们构建了负责任的人工智能的概念,即一种以公平、模型可解释性和问责性为核心的在真实组织中大规模实施人工智能方法的方法。最终目标是为XAI的新来者提供参考资料,以促进未来的研究进展,同时也鼓励其他学科的专家和专业人员在他们的活动领域拥抱AI的好处,而不是因为它缺乏可解释性而事先有任何偏见。

关键词: 可解释人工智能,机器学习,深度学习,数据融合,可解释性,可理解性,透明性,隐私,公平性,可问责性,负责任的人工智能。

目录

    1. 引言
    1. 可解释性: 是什么,为什么,什么目标,怎么做?
    1. 透明机器学习模型
    1. 机器学习模型的后解释技术:分类法、浅层模型和深度学习
    1. XAI:机遇、挑战和研究需求
    1. 走向负责任的人工智能:人工智能、公平、隐私和数据融合的原则
    1. 结论和展望

1. 引言

人工智能(AI)是许多采用新信息技术的活动领域的核心。人工智能的起源可以追溯到几十年前,人们对于智能机器具有学习、推理和适应能力的重要性有着明确的共识。正是凭借这些能力,人工智能方法在学习解决日益复杂的计算任务时达到了前所未有的性能水平,这对人类社会[2]的未来发展至关重要。近来,人工智能系统的复杂程度已经提高到几乎不需要人为干预来设计和部署它们。当来自这些系统的决策最终影响到人类的生活(例如,医学、法律或国防)时,就有必要了解这些决策是如何由人工智能方法[3]提供的。

最早的人工智能系统是很容易解释的,过去的几年见证了不透明的决策系统的兴起,比如深度神经网络(DNNs)。深度学习(DL)模型(如DNNs)的经验成功源于高效的学习算法及其巨大的参数空间的结合。后一个空间由数百层和数百万个参数组成,这使得DNNs被认为是复杂的黑盒模型[4]。black-box-ness的反义词是透明性,即以寻求对模型工作机理的直接理解。

随着黑箱机器学习(ML)模型越来越多地被用于在关键环境中进行重要的预测,人工智能[6]的各个利益相关者对透明度的要求也越来越高。危险在于做出和使用的决策不合理、不合法,或者不允许对其行为进行详细的解释。支持模型输出的解释是至关重要的,例如,在精准医疗中,为了支持诊断[8],专家需要从模型中获得远比简单的二进制预测多得多的信息。其他例子包括交通、安全、金融等领域的自动驾驶汽车。

一般来说,考虑到对合乎道德的人工智能[3]日益增长的需求,人类不愿采用不能直接解释、处理和信任的[9]技术。习惯上认为,如果只关注性能,系统将变得越来越不透明。从模型的性能和它的透明性[10]之间的权衡来看,这是正确的。然而,对一个系统理解的提高可以导致对其缺陷的修正。在开发ML模型时,将可解释性考虑为额外的设计驱动程序可以提高其可实现性,原因有三:

可解释性有助于确保决策的公正性,即检测并纠正训练数据集中的偏差。

可解释性通过强调可能改变预测的潜在对抗性扰动,促进了稳健性的提供。

可解释性可以作为一种保证,即只有有意义的变量才能推断出输出,即,以确保模型推理中存在真实的因果关系。

这意味着,为了考虑实际,系统的解释应该要么提供对模型机制和预测的理解,要么提供模型识别规则的可视化,要么提供可能扰乱模型[11]的提示。

为了避免限制当前一代人工智能系统的有效性,可解释人工智能(XAI)[7]建议创建一套ML技术,1) 产生更多可解释的模型,同时保持高水平的学习性能(如预测准确性),2) 使人类能够理解、适当信任和有效管理新一代人工智能伙伴。XAI还借鉴了社会科学的[12],并考虑了解释心理学。

avatar

图1: 过去几年中,标题、摘要和/或关键词涉及XAI领域的出版物总数的变化。通过提交图中所示的查询从Scopus R数据库检索到的数据(2019年10月14日)。值得注意的是,随着时间的推移,对可解释的AI模型的潜在需求(这符合直觉,因为在许多场景中,可解释性是一种要求),但直到2017年,解释AI模型的技术兴趣才渗透到整个研究领域。

这篇综述的其余部分的结构如下:首先,第2节和其中的子节围绕AI中的可解释性和可解释性展开了关于术语和概念的讨论,最后得出前面提到的可解释性的新定义(第2.1和2.2小节),以及从XAI的角度对ML模型进行分类和分析的一般标准。第3节和第4节回顾了ML模型(分别是透明模型和事后技术)的XAI的最新发现,它们构成了上述分类中的主要部分。同时,我们也回顾了这两种方法的混合,以达到XAI。在第5节中讨论了各种方法之间的协同作用的好处和注意事项,在这里,我们提出了对一般挑战的展望和需要谨慎对待的一些后果。最后,第6节阐述了负责任的人工智能的概念。第7节总结了调查,目的是让社区参与到这一充满活力的研究领域中来,这一领域有可能影响社会,特别是那些逐渐将ML作为其活动核心技术的部门。

2. 可解释性: 是什么,为什么,怎么做?

在继续我们的文献研究之前,我们可以先建立一个共同的观点来理解在AI的可解释性这个术语,更具体地说是ML中的含义。这确实是本节的目的,即暂停对这个概念的大量定义(什么?),讨论为什么可解释性在AI和ML中是一个重要的问题(为什么?目的何在?),并介绍XAI方法的一般分类,这将推动此后的文献研究(如何?)。

2.1 术语说明

阻碍建立共同基础的问题之一是interpretability 和explainability 在文献中的互换误用。这些概念之间存在着显著的差异。首先,interpretability 是指一个模型的被动特性,指的是一个给定的模型对人类观察者有意义的程度。这个特性也表示为透明性。相比之下,explainability 可以被看作是模型的主动特征,表示模型为了阐明或详述其内部功能而采取的任何动作或过程。

为了总结最常用的命名法,在本节中,我们将阐明在伦理AI和XAI社区中常用的术语之间的区别和相似性。

  • Understandability(或等同地,intelligibility)指的是一个模型的特征,使人理解其功能——模型如何工作——而不需要解释其内部结构或模型内部处理数据[18]的算法方法。

  • Comprehensibility: 在ML模型中,可理解性是指学习算法以人类可理解的方式表示其已学知识的能力[19,20,21]。这种模型可理解性的概念源于Michalski[22]的假设,即“计算机归纳的结果应该是对给定实体的符号描述,在语义和结构上类似于人类专家可能产生的观察相同实体的结果。”这些描述的组成部分应作为单一的‘信息块’可理解,可直接用自然语言解释,并应以综合方式将定量和定性概念联系起来”。由于难以量化,可理解性通常与模型复杂度[17]的评估联系在一起。

  • Interpretability可解释性是指以可理解的语言向人类解释或提供意义的能力。

  • Explainability可解释性与作为人类和决策者之间的接口的解释概念相关,同时,这也是决策者的准确代理,也是人类可以理解的[17]。

  • Transparency 透明度:如果一个模型本身是可以理解的,那么它就被认为是透明的。由于模型具有不同程度的可理解性,因此第3节中的透明模型分为三类: 可模拟模型、可分解模型和算法透明模型[5]。

2.2 什么?

虽然这可能被认为超出了本文的范围,但值得注意的是在哲学领域[23]中围绕一般解释理论展开的讨论。在这方面已经提出了许多建议,建议需要一种普遍的、统一的理论来近似解释的结构和意图。然而,在提出这样一个普遍的理论时,没有人经得起批评。就目前而言,最一致的想法是将不同的解释方法从不同的知识学科中融合在一起。在处理人工智能的可解释性时也发现了类似的问题。从文献中似乎还没有一个共同的观点来理解什么是可解释性或可解释性。然而,许多贡献声称是可解释(interpretable)模型和技术的成就增强了可解释性(explainability).

为了阐明这种缺乏共识的情况,我们不妨以D. Gunning在[7]中给出的可解释人工智能(XAI)的定义作为参考起点:

“XAI将创造一套机器学习技术,使人类用户能够理解、适当信任并有效管理新一代人工智能合作伙伴。

这个定义结合了两个需要提前处理的概念(理解和信任)。然而,它忽略了其他目的,如因果关系、可转移性、信息性、公平性和信心等,从而激发了对可解释AI模型的需求[5,24,25,26]。

进一步修正,我们给出explainable AI的定义:

给定一个受众,一个可解释的人工智能是一个产生细节或理由使其功能清晰或容易理解的人工智能。

这个定义在这里作为当前概述的第一个贡献,隐含地假设XAI技术针对当前模型的易用性和清晰性在不同的应用目的上有所恢复,比如更好地让用户信任模型的输出。

2.3 为什么?

如引言所述,可解释性是人工智能在实际应用中面临的主要障碍之一。无法解释或完全理解最先进的ML算法表现得如此出色的原因是一个问题,它的根源有两个不同的原因,如图2所示。

avatar

图2: 图中显示了在ML模型中由不同的用户配置文件寻找的可解释性的不同目的。它们有两个目标:模型理解的需要和法规遵从性。

2.4 什么目标?

到目前为止,围绕XAI的研究已经揭示出了不同的目标,以便从一个可解释的模型的实现中得出结论。几乎没有一篇被调研的论文在描述一个可解释的模型所要求的目标上是完全一致的。尽管如此,所有这些不同的目标都可能有助于区分特定的ML可解释性的目的。不幸的是,很少有人试图从概念的角度来界定这些目标[5、13、24、30]。我们现在综合并列举这些XAI目标的定义,以便为这篇综述涵盖的所有论文确定第一个分类标准:

avatar 图3. 可解释AI不同的度量维度

  • 可信赖性Trustworthiness:一些作者同意将可信赖性作为可解释AI模型的主要目标[31,32]。然而,根据模型诱导信任的能力将模型声明为可解释的可能并不完全符合模型可解释性的要求。可信度可以被认为是一个模型在面对给定问题时是否会按预期行事的信心。虽然它肯定是任何可解释模型的一个属性,但它并不意味着每一个值得信任的模型都可以被认为是可解释的,可信度也不是一个容易量化的属性。信任可能远远不是可解释模型的唯一目的,因为两者之间的关系,如果达成一致,并不是相互的。在综述的论文中,有一部分提到了信任的概念。但是,如表1所示,它们在最近与XAI相关的贡献中所占的份额并不大。

  • 因果关系Causality:可解释性的另一个常见目标是发现数据变量之间的因果关系。一些作者认为,可解释的模型可能简化了寻找关系的任务,如果它们发生,可以进一步测试所涉及的变量之间更强的因果关系[159,160]。从观测数据推断因果关系是一个随着时间的推移已经被广泛研究的领域[161]。正如从事这一主题的社区所广泛承认的那样,因果关系需要一个广泛的先验知识框架来证明所观察到的影响是因果关系。ML模型只发现它所学习的数据之间的相关性,因此可能不足以揭示因果关系。然而,因果关系涉及到相关性,所以一个可解释的ML模型可以验证因果推理技术提供的结果,或者在现有数据中提供可能的因果关系的第一直觉。同样,表1显示,如果我们关注那些将因果关系明确表述为目标的论文数量,因果关系就不是最重要的目标之一。

  • 可转移性Transferability: 模型总是受到一些约束,这些约束应该考虑到模型的无缝可转移性。这就是为什么在处理ML问题时使用训练-测试方法的主要原因[162,163]。可解释性也是可转移性的倡导者,因为它可以简化阐明可能影响模型的边界的任务,从而更好地理解和实现。类似地,仅仅理解模型中发生的内部关系有助于用户在另一个问题中重用这些知识。在某些情况下,缺乏对模型的正确理解可能会将用户推向错误的假设和致命的后果[44,164]。可转移性也应该落在可解释模型的结果属性之间,但同样,不是每个可转让性模型都应该被认为是可解释的。正如在表1中所观察到的,大量的论文指出,将一个模型描述为可解释的是为了更好地理解复用它或提高它的性能所需要的概念,这是追求模型可解释性的第二个最常用的理由。

  • 信息性Informativeness: ML模型的最终目的是支持决策[92]。然而,不应该忘记的是,模型所解决的问题并不等于它的人类对手所面临的问题。因此,为了能够将用户的决策与模型给出的解决方案联系起来,并避免陷入误解的陷阱,需要大量的信息。为此,可解释的ML模型应该提供有关正在处理的问题的信息。在文献综述中发现的主要原因是为了提取模型内部关系的信息。几乎所有的规则提取技术都证实了它们在寻找模型内部功能的更简单理解方面的方法,说明知识(信息)可以用这些更简单的代理来表示,它们认为这些代理可以解释先行词。这是在综述的论文中发现的最常用的论点,用来支持他们所期望的可解释模型。

  • 置信度Confidence: 作为稳健性和稳定性的概括,置信度的评估应该始终基于一个预期可靠性的模型。在控制下保持信心的方法因模型的不同而不同。正如在[165,166,167]中所述,当从某个模型中提取解释时,稳定性是必须具备的。可靠的解释不应该由不稳定的模型产生。因此,一个可解释的模型应该包含关于其工作机制可信度的信息。

  • 公平性Fairness:从社会的角度来看,在ML模型中,可解释性可以被认为是达到和保证公平性的能力。在一个特定的文献链中,一个可解释的ML模型建议对影响结果的关系进行清晰的可视化,允许对手头的模型进行公平或伦理分析[3,100]。同样,XAI的一个相关目标是强调模型所暴露的数据中的偏差[168,169]。在涉及人类生活的领域,对算法和模型的支持正在迅速增长,因此,可解释性应被视为避免不公平或不道德地使用算法输出的桥梁。

  • Accessibility可访问性: 评审贡献的认为可解释性是允许最终用户更多地参与改进和开发某个ML模型的过程的属性[37,86]。显然,可解释的模型将减轻非技术或非专业用户在处理乍一看似乎不可理解的算法时的负担。这一概念在被调查的文献中被认为是第三个最重要的目标。

  • 交互性Interactivity: 一些贡献[50,59]包括模型与用户交互的能力,这是可解释的ML模型的目标之一。同样,这个目标与最终用户非常重要的领域相关,他们调整模型并与之交互的能力是确保成功的关键。

  • 隐私意识Privacy awareness: 在回顾的文献中,几乎被遗忘的是,ML模型中可解释性的副产品之一是它评估隐私的能力。ML模型可能具有其所学习模式的复杂表示。无法理解模型[4]捕获并存储在其内部表示中的内容可能会导致隐私被破坏。相反,由未经授权的第三方解释训练过的模型的内部关系的能力也可能会损害数据来源的差异隐私。由于其在XAI预计将发挥关键作用的行业中的重要性,机密性和隐私问题将分别在第5.4和6.3小节中进一步讨论。

本小节回顾了所调研论文的广泛范围内所涉及的目标。所有这些目标都清楚地隐藏在本节前面介绍的可解释性概念的表面之下。为了总结之前对可解释性概念的分析,最后一小节讨论了社区为解决ML模型中的可解释性所采取的不同策略。

2.5 怎么样?

文献明确区分了可以通过设计解释的模型和可以通过外部XAI技术解释的模型。这种双重性也可以看作是可解释模型与模型可解释技术的区别;更广泛接受的分类是透明模型和事后可解释性。同样的对偶性也出现在[17]的论文中,作者所做的区分是指解决透明盒设计问题的方法,而不是解释黑盒子问题的方法。这项工作进一步扩展了透明模型之间的区别,包括考虑的不同透明度级别。

在透明性中,考虑了三个层次: 算法透明性、可分解性和可模拟性。在后设技术中,我们可以区分文本解释、可视化、局部解释、实例解释、简化解释和特征关联。在这种情况下,[24] 提出了一个更广泛的区别: 1)区分不透明的系统,其中从输入到输出的映射对用户来说是不可见的; 2)可解释系统,用户可以对映射进行数学分析; 3)可理解的系统,在这个系统中,模型应该输出符号或规则以及它们的特定输出,以帮助理解映射背后的基本原理。最后一个分类标准可以被认为包含在前面提出的分类标准中,因此本文将尝试遵循更具体的分类标准。

avatar

图4. 概念图举例透明度的不同层次描述Mϕ毫升模型,与ϕ表示模型的参数集的手:(一)可模拟性;(b)可分解性;(c)算法的透明度。

avatar

图5. 概念图显示了不同的因果explainability方法可供Mϕ毫升模型

3. 透明机器学习模型

前一节介绍了透明模型的概念。如果一个模型本身是可以理解的,那么它就被认为是透明的。本节调查的模型是一套透明模型,它可以属于前面描述的模型透明性的一个或所有级别(即可模拟性、可分解性和算法透明性)。在接下来的部分中,我们提供了该语句的理由,并提供了图6与图7中所示支持。

avatar

图6:ML模型可解释性分类的总体情况

avatar

图7: 本综述中所考虑的不同ML模型的透明度水平的图形说明:(a)线性回归;(b)决策树;(c)再邻居;(d)基于规则的学习者;(e)广义可加模型;(f)贝叶斯模型。

4. 机器学习模型的后解释技术:分类法、浅层模型和深度学习

当ML模型不满足宣布它们透明的任何标准时,必须设计一个单独的方法并应用于模型来解释它的决策。这就是事后可解释性技术(也称为建模后可解释性)的目的,它的目的是交流关于已经开发的模型如何对任何给定输入产生预测的可理解信息。在本节中,我们将对不同的算法方法进行分类和回顾,这些算法方法用于事后可解释性,区别于1) 那些为应用于任何类型的ML模型而设计的算法方法; 2) 那些是为特定的ML模型设计的,因此,不能直接推断到任何其他学习者。现在,我们详细阐述了不同ML模型的事后可解释性方面的趋势,这些趋势在图8中以分层目录的形式进行了说明,并在下面进行了总结:

用于事后解释的模型无关技术(4.1小节),可以无缝地应用于任何ML模型,而不考虑其内部处理或内部表示。

专为解释某些ML模型而定制或专门设计的事后解释能力。我们将我们的文献分析分为两个主要的分支:浅层ML模型的事后可解释性的贡献,这些贡献统称为所有不依赖于神经处理单元的分层结构的ML模型(第4.2小节);以及为深度学习模型设计的技术,这些技术相应地表示神经网络家族和相关变体,如卷积神经网络、递归神经网络(4.3小节)和包含深度神经网络和透明模型的混合方案。对于每一个模型,我们都对研究界提出的最新的事后方法进行了彻底的审查,并确定了这些贡献所遵循的趋势。

我们以4.4小节结束了我们的文献分析,在4.4小节中,我们提出了第二种分类法,通过对处理深度学习模型的事后解释的贡献进行分类,对图6中更一般的分类进行了补充。为此,我们将重点关注与这类黑盒ML方法相关的特定方面,并展示它们如何链接到第一种分类法中使用的分类标准。

avatar

图8. 综述文献的分类和与不同ML模型相关的可解释性技术的趋势。用蓝色、绿色和红色框起来的引用分别对应于使用图像、文本或表格数据的XAI技术。为了建立这种分类法,对文献进行了深入分析,以区分是否可以将后适应技术无缝地应用于任何ML模型,即使在其标题和/或摘要中明确提到了深度学习。

4.1 用于事后可解释性的模型不可知技术

用于事后可解释性的模型无关技术被设计成插入到任何模型,目的是从其预测过程中提取一些信息。有时,使用简化技术来生成模仿其前身的代理,目的是为了获得易于处理和降低复杂性的东西。其他时候,意图集中在直接从模型中提取知识,或者简单地将它们可视化,以简化对其行为的解释。根据第2节中介绍的分类法,与模型无关的技术可能依赖于模型简化、特征相关性估计和可视化技术。

4.2 浅ML模型的事后解释能力

Shallow ML覆盖了多种监督学习模型。在这些模型中,有一些严格可解释的(透明的)方法(如KNN和决策树,已经在第3节中讨论过)。考虑到它们在预测任务中的突出地位和显著性能,本节将集中讨论两种流行的浅ML模型(树集成和支持向量机,SVMs),它们需要采用事后可解释性技术来解释它们的决策

4.3 深度学习的可解释性

事后局部解释和特征相关技术正日益成为解释DNNs的主要方法。本节回顾了最常用的DL模型,即多层神经网络、卷积神经网络(CNN)和递归神经网络(RNN)的可解释性研究。

avatar

图9: 混合模型的图示。一个被认为是黑箱的神经网络可以通过将其与一个更具解释性的模型相关联来解释,如决策树[298]、一个(模糊的)基于规则的系统[19]或KNN[259]。

avatar

图10:(a) 可选的深度学习特定分类扩展自[13]的分类;(b)它与图6中的分类法的联系。

5. XAI:机遇、挑战和研究需求

现在,我们利用已完成的文献回顾,对ML和数据融合模型的可解释性领域的成就、趋势和挑战提出了批评。实际上,我们在讨论到目前为止在这一领域取得的进展时,已经预见到了其中的一些挑战。在本节中,我们将重新审视这些问题,并为XAI探索新的研究机会,找出可能的研究路径,以便在未来几年有效地解决这些问题:

在可解释性和性能之间的权衡

可解释性与性能的问题是一个随着时间不断重复的问题,但就像任何其他大命题一样,它的周围充满了神话和误解。

avatar

图11: 模型可解释性和性能之间的权衡,以及XAI技术和工具潜力所在的改进领域的表示

6. 走向负责任的人工智能:人工智能、公平、隐私和数据融合的原则

多年来,许多组织,无论是私人的还是公共的,都发布了指导方针,指出人工智能应该如何开发和使用。这些指导方针通常被称为人工智能原则,它们处理与个人和整个社会潜在的人工智能威胁相关的问题。本节将介绍一些最重要和被广泛认可的原则,以便将XAI(通常出现在它自己的原则中)与所有这些原则联系起来。如果在实践中寻求一个负责任的AI模型的实现和使用,我们公司声称XAI本身是不够的。其他重要的人工智能原则,如隐私和公平,在实践中必须谨慎处理。在接下来的章节中,我们将详细阐述负责任人工智能的概念,以及XAI和数据融合在实现其假设原则中的含义。

6.1 人工智能原则 Principles of Artificial Intelligence

使用人工智能系统后的输出不应导致在种族、宗教、性别、性取向、残疾、种族、出身或任何其他个人条件方面对个人或集体产生任何形式的歧视。因此,在优化人工智能系统的结果时要考虑的一个基本标准不仅是它们在错误优化方面的输出,而且是系统如何处理这些状况。这定义了公平AI的原则。

人们应该知道什么时候与人交流,什么时候与人工智能系统交流。人们还应该知道他们的个人信息是否被人工智能系统使用,以及用于什么目的。确保对人工智能系统的决策有一定程度的理解是至关重要的。这可以通过使用XAI技术来实现。重要的是,生成的解释要考虑将接收这些解释的用户的配置文件(根据小节2.2中给出的定义,所谓的受众),以便调整透明度级别,如[45]中所示。这定义了透明和可解释AI的原则。

人工智能产品和服务应始终与联合国的可持续发展目标保持一致[375],并以积极和切实的方式为之做出贡献。因此,人工智能应该总是为人类和公共利益带来好处。这定义了以人为中心的人工智能的原则(也称为社会公益的人工智能[376])。

人工智能系统,尤其是当它们由数据提供信息时,应该在其整个生命周期中始终考虑隐私和安全标准。这一原则并不排斥人工智能系统,因为它与许多其他软件产品共享。因此,它可以从公司内部已经存在的流程中继承。这通过设计定义了隐私和安全的原则,这也被认为是负责任的研究和创新范式下智能信息系统面临的核心伦理和社会挑战之一(RRI,[377])。RRI指的是一套方法学指南和建议,旨在从实验室的角度考虑更广泛的科学研究背景,以应对全球社会挑战,如可持续性、公众参与、伦理、科学教育、性别平等、开放获取和治理。有趣的是,RRI还要求在遵循其原则的项目中确保开放性和透明度,这与前面提到的透明和可解释的AI原则直接相关。

作者强调,所有这些原则都应该扩展到任何第三方(供应商、顾问、合作伙伴……)

6.2 公平和责任

如前一节所述,除了XAI之外,在过去十年中发布的不同AI原则指导方针中还包括许多关键方面。然而,这些方面并不是完全脱离了XAI;事实上,它们是交织在一起的。本节介绍了与人工智能原则指导具有巨大相关性的两个关键组成部分,即公平性和可说明性。这也突出了它们与XAI的联系。

6.3 隐私与数据融合

如今,几乎所有领域的活动中都存在着越来越多的信息源,这就要求采用数据融合方法,同时利用这些信息源来解决学习任务。通过合并异构信息,数据融合已被证明可以在许多应用程序中提高ML模型的性能。本节通过数据融合技术的潜力进行推测,以丰富ML模型的可解释性,并对从中学习ML模型的数据的私密性做出妥协。为此,我们简要概述了不同的数据融合范式,并从数据隐私的角度进行了分析。我们稍后会讲到,尽管XAI与负责任的人工智能相关,但在当前的研究主流中,XAI与数据融合是一个未知的研究领域。

avatar

图12: 显示可以执行数据融合的不同级别的关系图:(a)数据级别;(b)模型;(c)知识水平;(d)大数据融合;(e)联邦学习和(f)多视图学习。

7. 结论和展望

这篇综述围绕着可解释的人工智能(XAI)展开,它最近被认为是在现实应用中采用ML方法的最大需求。我们的研究首先阐明了模型可解释性背后的不同概念,并展示了激发人们寻找更多可解释的ML方法的各种目的。这些概念性的评注已经成为一个坚实的基础,系统地回顾最近关于可解释性的文献,这些文献从两个不同的角度进行了探讨:1) ML模型具有一定程度的透明性,因此可以在一定程度上自行解释; 2) 后特设XAI技术的设计,使ML模型更容易解释。这个文献分析已经产生了一个由社区报告的不同提案的全球分类,在统一的标准下对它们进行分类。在深入研究深度学习模型可解释性的贡献越来越普遍的情况下,我们深入研究了有关这类模型的文献,提出了一种可选择的分类方法,可以更紧密地连接深度学习模型可解释性的具体领域。

我们的讨论已经超越了XAI领域目前所取得的成果,转向了负责任的AI概念,即在实践中实现AI模型时必须遵循的一系列AI原则,包括公平、透明和隐私。我们还讨论了在数据融合的背景下采用XAI技术的含义,揭示了XAI在融合过程中可能会损害受保护数据的隐私。对XAI在公平方面的含义也进行了详细的讨论。

我们对XAI未来的思考,通过在整个论文中进行的讨论,一致认为有必要对XAI技术的潜力和警告进行适当的理解。我们的设想是,模型的可解释性必须与数据隐私、模型保密性、公平性和可靠性相关的需求和约束一起解决。只有联合研究所有这些人工智能原则,才能保证在全世界的组织和机构中负责任地实施和使用人工智能方法。

参考文献

  1. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach, Malaysia; Pearson Education Limited,, 2016.
  2. D. M. West, The future of work: robots, AI, and automation, Brookings Institution Press, 2018.
  3. S. J. Russell, P. Norvig, Artificial intelligence: a modern approach,Malaysia; Pearson Education Limited,, 2016.
  4. D. M. West,The future of work: robots, AI, and automation, Brookings Institution Press,2018.
  5. B. Goodman,S. Flaxman, European union regulations on algorithmic decision-making and aright to explanation, AI Magazine 38 (3) (2017) 50–57.
  6. D. Castelvecchi, Can we open the black box of AI?, Nature News 538(7623) (2016) 20.
  7. Z. C. Lipton, The mythos of model interpretability, Queue 16 (3)(2018) 30:31–30:57.
  8. A. Preece, D. Harborne, D. Braines, R. Tomsett, S. Chakraborty,Stakeholders in Explainable AI (2018). arXiv:1810.00184.
  9. D. Gunning, Explainable artificial intelligence (xAI), Tech. rep.,Defense Advanced Research Projects Agency (DARPA) (2017).
  10. E. Tjoa, C. Guan, A survey on explainable artificial intelligence(XAI): Towards medical XAI (2019). arXiv:1907.07374.
  11. J. Zhu, A. Liapis, S. Risi, R. Bidarra, G. M. Youngblood, ExplainableAI for designers: A humancentered perspective on mixed-initiative co-creation,2018 IEEE Conference on Computational Intelligence and Games (CIG) (2018) 1–8.
  12. F. K. Do˜silovi´c, M. Br˜ci´c, N. Hlupi´c, Explainable artificialintelligence: A survey, in: 41st International Convention onInformation and Communication Technology, Electronics and Microelectronics (MIPRO),2018, pp. 210–215.
成为VIP会员查看完整内容
0
66

【导读】最新的一期《Science》机器人杂志刊登了关于XAI—Explainable artificial intelligence专刊,涵盖可解释人工智能的简述论文,论述了XAI对于改善用户理解、信任与管理AI系统的重要性。并包括5篇专刊论文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。

https://robotics.sciencemag.org/content/4/37/eaay7120

最近在机器学习(ML)方面的成功引发了人工智能(AI)应用的新浪潮,为各种领域提供了广泛的益处。然而,许多这些系统中不能向人类用户解释它们的自主决策和行为。对某些人工智能应用来说,解释可能不是必要的,一些人工智能研究人员认为,强调解释是错误的,太难实现,而且可能是不必要的。然而,对于国防、医学、金融和法律的许多关键应用,解释对于用户理解、信任和有效地管理这些新的人工智能合作伙伴是必不可少的(参见最近的评论(1-3))。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新ML技术。其中包括支持向量机(SVMs)、随机森林、概率图形模型、强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出了高性能,但它们在可解释性方面是不透明的。ML性能(例如,预测准确性)和可解释性之间可能存在固有的冲突。通常,性能最好的方法(如DL)是最不可解释的,而最可解释的方法(如决策树)是最不准确的。图1用一些ML技术的性能可解释性权衡的概念图说明了这一点。

图1 ML技术的性能与可解释性权衡。

(A)学习技巧和解释能力。(B)可解释模型:学习更结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系的学习模型,以及使用随机语法学习更多可解释的结构。深度学习:一些设计选择可能产生更多可解释的表示(例如,训练数据选择、架构层、损失函数、正则化、优化技术和训练序列)。模型不可知论者:对任意给定的ML模型(如黑箱)进行试验以推断出一个近似可解释的模型的技术。

什么是XAI?

一个可解释的人工智能(XAI)系统的目的是通过提供解释使其行为更容易被人类理解。有一些通用原则可以帮助创建有效的、更人性化的人工智能系统:XAI系统应该能够解释它的能力和理解;解释它已经做了什么,现在正在做什么,接下来会发生什么; 披露其所依据的重要信息(4)。

然而,每一个解释都是根据AI系统用户的任务、能力和期望而设置的。因此,可解释性和可解释性的定义是与域相关的,并且可能不是与域独立定义的。解释可以是全面的,也可以是片面的。完全可解释的模型给出了完整和完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释模型服从根据域定义的“可解释性约束”(例如,某些变量和相关变量的单调性服从特定关系),而黑箱或无约束模型不一定服从这些约束。部分解释可能包括变量重要性度量、局部模型(在特定点近似全局模型)和显著性图。

来自用户的期望

XAI假设向最终用户提供一个解释,该用户依赖于AI系统所产生的决策、建议或操作,然而可能有许多不同类型的用户,通常在系统开发和使用的不同时间点(5)。例如,一种类型的用户可能是智能分析师、法官或操作员。但是,需要对系统进行解释的其他用户可能是开发人员或测试操作员,他们需要了解哪里可能有改进的地方。然而,另一个用户可能是政策制定者,他们试图评估系统的公平性。每个用户组可能有一个首选的解释类型,能够以最有效的方式交流信息。有效的解释将考虑到系统的目标用户组,他们的背景知识可能不同,需要解释什么。

可操作性——评估和测量

一些方法提出了一些评价和衡量解释有效性的方法;然而,目前还没有通用的方法来衡量XAI系统是否比非XAI系统更容易被用户理解。其中一些度量是用户角度的主观度量,例如用户满意度,可以通过对解释的清晰度和实用性的主观评级来度量。解释有效性的更客观的衡量标准可能是任务绩效; 即,这样的解释是否提高了用户的决策能力?可靠和一致的测量解释的影响仍然是一个开放的研究问题。XAI系统的评价和测量包括评价框架、共同点[不同的思维和相互理解(6)]、常识和论证[为什么(7)]。

XAI -问题和挑战

在ML和解释的交集处仍然存在许多活跃的问题和挑战。

  1. 从电脑开始还是从人开始(8). XAI系统应该针对特定的用户进行解释吗?他们应该考虑用户缺乏的知识吗?我们如何利用解释来帮助交互式和人在循环的学习,包括让用户与解释交互以提供反馈和指导学习?

  2. 准确性与可解释性。XAI解释研究的一条主线是探索解释的技术和局限性。可解释性需要考虑准确性和保真度之间的权衡,并在准确性、可解释性和可处理性之间取得平衡。

  3. 使用抽象来简化解释。高级模式是在大步骤中描述大计划的基础。对抽象的自动发现一直是一个挑战,而理解学习和解释中抽象的发现和共享是当前XAI研究的前沿。

  4. 解释能力与解释决策。有资格的专家精通的一个标志是他们能够对新情况进行反思。有必要帮助终端用户了解人工智能系统的能力,包括一个特定的人工智能系统有哪些能力,如何衡量这些能力,以及人工智能系统是否存在盲点;也就是说,有没有一类解是永远找不到的?

从以人为本的研究视角来看,对能力和知识的研究可以使XAI超越解释特定XAI系统和帮助用户确定适当信任的角色。未来,XAIs可能最终会扮演重要的社会角色。这些角色不仅包括向个人学习和解释,而且还包括与其他代理进行协调以连接知识、发展跨学科见解和共同点、合作教授人员和其他代理,以及利用以前发现的知识来加速知识的进一步发现和应用。从这样一个知识理解和生成的社会视角来看,XAI的未来才刚刚开始。

本期刊论文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我们会相信机器人吗?科幻小说说没有,但可解释的机器人可能会找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最适合促进信任的解释方法不一定对应于那些有助于最佳任务性能的组件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的强化学习方法能从形式化的语言中获得回报,并保证了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

参考文献:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

成为VIP会员查看完整内容
0
79

报告题目: AV+AI - Challenges and Opportunities

报告摘要:

AV与AI相遇会产生怎样的效果不禁令人期待。人类驾驶汽车与无人驾驶相比,人类司机存在着缺陷,而且目前AV面临着技术、安全问题、市场接受度和法律等问题,此次报告主要从以下方面讲述了AV+AI的挑战与机遇:

  • AV-挑战
  • 当AI遇到AV
  • 将人工智能应用于可靠可靠的AV
  • AV+AI -挑战
  • 结束语

嘉宾介绍

詹景尧是伯克利DeepDrive副主任,在车辆和基础设施安全、高速公路网络运行、车辆自动化、先进驾驶辅助系统、专用短程通信(DSRC)和运输的蜂窝通信以及交通监控与数据融合方面有很深的造诣。

成为VIP会员查看完整内容
AV+AI-机遇与挑战.pdf
0
5

论文题目:Challenges in Building Intelligent Open-domain Dialog Systems

论文摘要:由于大量的对话数据的可用性和最新的渐进式对话方法AI的兴起,人们对开发智能的开放域对话系统产生了浓厚的兴趣。与传统的面向任务的机器人一样,开放域对话系统旨在通过满足人类对交流,情感和情感的需求与用户建立长期联系。社会归属感。本文回顾了有关神经方法的最新工作,该方法致力于解决开发此类系统的三个挑战:语义,一致性和交互性。语义要求对话系统不仅要了解对话的内容,还要识别对话过程中用户的情感和社交需求;一致性要求该系统表现出一致的个性以赢得用户的信任并获得他们的长期信任。该系统生成人际反应以实现特定社会目标(如娱乐性,顺从性和任务完成性)的能力。我们在本次调查中选择呈现的研究基于我们的独特观点,但绝不是完整的。尽管如此,我们希望该讨论会激发新的研究,以开发更多的智能到笔域对话系统。

成为VIP会员查看完整内容
0
16

In the last years, Artificial Intelligence (AI) has achieved a notable momentum that may deliver the best of expectations over many application sectors across the field. For this to occur, the entire community stands in front of the barrier of explainability, an inherent problem of AI techniques brought by sub-symbolism (e.g. ensembles or Deep Neural Networks) that were not present in the last hype of AI. Paradigms underlying this problem fall within the so-called eXplainable AI (XAI) field, which is acknowledged as a crucial feature for the practical deployment of AI models. This overview examines the existing literature in the field of XAI, including a prospect toward what is yet to be reached. We summarize previous efforts to define explainability in Machine Learning, establishing a novel definition that covers prior conceptual propositions with a major focus on the audience for which explainability is sought. We then propose and discuss about a taxonomy of recent contributions related to the explainability of different Machine Learning models, including those aimed at Deep Learning methods for which a second taxonomy is built. This literature analysis serves as the background for a series of challenges faced by XAI, such as the crossroads between data fusion and explainability. Our prospects lead toward the concept of Responsible Artificial Intelligence, namely, a methodology for the large-scale implementation of AI methods in real organizations with fairness, model explainability and accountability at its core. Our ultimate goal is to provide newcomers to XAI with a reference material in order to stimulate future research advances, but also to encourage experts and professionals from other disciplines to embrace the benefits of AI in their activity sectors, without any prior bias for its lack of interpretability.

1
44
下载
预览
小贴士
相关VIP内容
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
51+阅读 · 2020年5月14日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
118+阅读 · 2020年2月24日
【Science最新论文】XAI—可解释人工智能简述,机遇与挑战
相关论文
A Survey on Edge Intelligence
Dianlei Xu,Tong Li,Yong Li,Xiang Su,Sasu Tarkoma,Pan Hui
22+阅读 · 2020年3月26日
Recent Advances and Challenges in Task-oriented Dialog System
Zheng Zhang,Ryuichi Takanobu,Minlie Huang,Xiaoyan Zhu
15+阅读 · 2020年3月19日
Directions for Explainable Knowledge-Enabled Systems
Shruthi Chari,Daniel M. Gruen,Oshani Seneviratne,Deborah L. McGuinness
16+阅读 · 2020年3月17日
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
Alejandro Barredo Arrieta,Natalia Díaz-Rodríguez,Javier Del Ser,Adrien Bennetot,Siham Tabik,Alberto Barbado,Salvador García,Sergio Gil-López,Daniel Molina,Richard Benjamins,Raja Chatila,Francisco Herrera
44+阅读 · 2019年10月22日
Explainable Recommendation: A Survey and New Perspectives
Yongfeng Zhang,Xu Chen
45+阅读 · 2019年8月15日
Minlie Huang,Xiaoyan Zhu,Jianfeng Gao
14+阅读 · 2019年5月13日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
3+阅读 · 2019年4月25日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
7+阅读 · 2019年1月16日
Quanshi Zhang,Song-Chun Zhu
12+阅读 · 2018年2月7日
Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency
120+阅读 · 2017年8月1日
Top