能够解释机器学习模型的预测在医疗诊断或自主系统等关键应用中是很重要的。深度非线性ML模型的兴起,在预测方面取得了巨大的进展。然而,我们不希望如此高的准确性以牺牲可解释性为代价。结果,可解释AI (XAI)领域出现了,并产生了一系列能够解释复杂和多样化的ML模型的方法。

在本教程中,我们结构化地概述了在深度神经网络(DNNs)的背景下为XAI提出的基本方法。特别地,我们提出了这些方法的动机,它们的优点/缺点和它们的理论基础。我们还展示了如何扩展和应用它们,使它们在现实场景中发挥最大的作用。

本教程针对的是核心和应用的ML研究人员。核心机器学习研究人员可能会有兴趣了解不同解释方法之间的联系,以及广泛的开放问题集,特别是如何将XAI扩展到新的ML算法。应用ML研究人员可能会发现,理解标准验证程序背后的强大假设是很有趣的,以及为什么可解释性对进一步验证他们的模型是有用的。他们可能还会发现新的工具来分析他们的数据并从中提取见解。参与者将受益于技术背景(计算机科学或工程)和基本的ML训练。

目录内容:

Part 1: Introduction to XAI (WS) 可解释人工智能

  • Motivations for XAI
  • Methods and Validation of XAI
  • The Clever Hans Effect

Part 2: Methods for Explaining DNNs (GM) 可解释深度神经网络方法

  • Self-Explainable DNNs
  • Perturbation-Based Explanation Techniques
  • Propagation-Based Explanation Techniques

Part 3: Implementation, Theory, Evaluation, Extensions (GM) 实现,理论、评价

  • Implementating XAI Techniques for DNNs
  • Theoretical Embedding of XAI
  • Desiderata of XAI Techniques and Evaluation
  • Extending XAI Beyond Heatmaps and DNNs

Part 4: Applications (WS) 应用

  • Walk-Through Examples
  • Debugging Large Datasets (Meta-Explanations and "Unhansing")
  • XAI in the Sciences
成为VIP会员查看完整内容
0
46

相关内容

从社交网络到分子,许多真实数据都是以非网格对象的形式出现的,比如图。最近,从网格数据(例如图像)到图深度学习受到了机器学习和数据挖掘领域前所未有的关注,这导致了一个新的跨领域研究——深度图学习(DGL)。DGL的目标不是繁琐的特征工程,而是以端到端方式学习图的信息性表示。它在节点/图分类、链接预测等任务中都取得了显著的成功。

在本教程中,我们的目的是提供一个深入的图学习的全面介绍。首先介绍了深度图学习的理论基础,重点描述了各种图神经网络模型(GNNs)。然后介绍DGL近年来的主要成就。具体来说,我们讨论了四个主题:1)深度GNN的训练; 2) GNNs的鲁棒性; 3) GNN的可扩展性; 4) GNN的自监督和无监督学习。最后,我们将介绍DGL在各个领域的应用,包括但不限于药物发现、计算机视觉、医学图像分析、社会网络分析、自然语言处理和推荐。

https://ai.tencent.com/ailab/ml/KDD-Deep-Graph-Learning.html

目录:

  • 08:10 am – 09:00 am: Introduction to Graphs and Graph Neural Networks 图神经网络介绍
  • 09:00 am – 09:40 am: Robustness of Graph Neural Networks 图神经网络鲁棒性
  • 09:40 am – 10:00 am: Break
  • 10:00 am – 10:40 am: Self-Supervised Learning for Graph Neural Network I 图神经网络自监督学习
  • 10:40 am – 11:20 am: Scalable Learning for Graph Neural Networks & Healthcare 图神经网络可扩展学习
  • 11:20 am – 00:15 pm: Graph Structure Learning & NLP 图结构学习
成为VIP会员查看完整内容
0
69

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
115

本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来进行决策——而不是将环境视为一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及规划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

https://sites.google.com/view/mbrl-tutorial

近年来,强化学习领域取得了令人印象深刻的成果,但主要集中在无模型方法上。然而,社区认识到纯无模型方法的局限性,从高样本复杂性、需要对不安全的结果进行抽样,到稳定性和再现性问题。相比之下,尽管基于模型的方法在机器人、工程、认知和神经科学等领域具有很大的影响力,但在机器学习社区中,这些方法的开发还不够充分(但发展迅速)。它们提供了一系列独特的优势和挑战,以及互补的数学工具。本教程的目的是使基于模型的方法更被机器学习社区所认可和接受。鉴于最近基于模型的规划的成功应用,如AlphaGo,我们认为对这一主题的全面理解是非常及时的需求。在教程结束时,观众应该获得:

  • 数学背景,阅读并跟进相关文献。
  • 对所涉及的算法有直观的理解(并能够访问他们可以使用和试验的轻量级示例代码)。
  • 在应用基于模型的方法时所涉及到的权衡和挑战。
  • 对可以应用基于模型的推理的问题的多样性的认识。
  • 理解这些方法如何适应更广泛的强化学习和决策理论,以及与无模型方法的关系。
成为VIP会员查看完整内容
0
67

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开。来自美国Linkedin、AWS等几位学者共同给了关于在工业界中可解释人工智能的报告,讲述了XAI概念、方法以及面临的挑战和经验教训。

人工智能在我们的日常生活中扮演着越来越重要的角色。此外,随着基于人工智能的解决方案在招聘、贷款、刑事司法、医疗和教育等领域的普及,人工智能对个人和职业的影响将是深远的。人工智能模型在这些领域所起的主导作用已经导致人们越来越关注这些模型中的潜在偏见,以及对模型透明性和可解释性的需求。此外,模型可解释性是在需要可靠性和安全性的高风险领域(如医疗和自动化交通)以及具有重大经济意义的关键工业应用(如预测维护、自然资源勘探和气候变化建模)中建立信任和采用人工智能系统的先决条件。

因此,人工智能的研究人员和实践者将他们的注意力集中在可解释的人工智能上,以帮助他们更好地信任和理解大规模的模型。研究界面临的挑战包括 (i) 定义模型可解释性,(ii) 为理解模型行为制定可解释性任务,并为这些任务开发解决方案,最后 (iii)设计评估模型在可解释性任务中的性能的措施。

在本教程中,我们将概述AI中的模型解译性和可解释性、关键规则/法律以及作为AI/ML系统的一部分提供可解释性的技术/工具。然后,我们将关注可解释性技术在工业中的应用,在此我们提出了有效使用可解释性技术的实践挑战/指导方针,以及在几个网络规模的机器学习和数据挖掘应用中部署可解释模型的经验教训。我们将介绍不同公司的案例研究,涉及的应用领域包括搜索和推荐系统、销售、贷款和欺诈检测。最后,根据我们在工业界的经验,我们将确定数据挖掘/机器学习社区的开放问题和研究方向。

https://sites.google.com/view/www20-explainable-ai-tutorial

成为VIP会员查看完整内容
0
135

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.

可解释AI:基础、工业应用、实际挑战和经验教训

地址https://xaitutorial2020.github.io/

Tutorial 目标 本教程的目的是为以下问题提供答案:

  • 什么是可解释的AI (XAI)

    • 什么是可解释的AI(简称XAI) ?,人工智能社区(机器学习、逻辑学、约束编程、诊断)的各种流有什么解释?解释的度量标准是什么?
  • 我们为什么要关心?

    • 为什么可解释的AI很重要?甚至在某些应用中至关重要?阐述人工智能系统的动机是什么?
  • 哪里是关键?

    • 在大规模部署人工智能系统时,真正需要解释的实际应用是什么?
  • 它是如何工作的?

    • 在计算机视觉和自然语言处理中,最先进的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,什么有效,什么没有效?
  • 我们学到了什么?

    • 部署现有XAI系统的经验教训和局限性是什么?在向人类解释的过程中?
  • 下一个是什么?

    • 未来的发展方向是什么?

概述

人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。

本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。

Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

目录与内容

第一部分: 介绍和动机

人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解释(不仅仅是机器学习!)

人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。

第三部分: 可解释的机器学习(从机器学习的角度)

在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。

第四部分: 可解释的机器学习(从知识图谱的角度)

在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。

第五部分: XAI工具的应用、经验教训和研究挑战

我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。

成为VIP会员查看完整内容
0
136

【导读】最新的一期《Science》机器人杂志刊登了关于XAI—Explainable artificial intelligence专刊,涵盖可解释人工智能的简述论文,论述了XAI对于改善用户理解、信任与管理AI系统的重要性。并包括5篇专刊论文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。

https://robotics.sciencemag.org/content/4/37/eaay7120

最近在机器学习(ML)方面的成功引发了人工智能(AI)应用的新浪潮,为各种领域提供了广泛的益处。然而,许多这些系统中不能向人类用户解释它们的自主决策和行为。对某些人工智能应用来说,解释可能不是必要的,一些人工智能研究人员认为,强调解释是错误的,太难实现,而且可能是不必要的。然而,对于国防、医学、金融和法律的许多关键应用,解释对于用户理解、信任和有效地管理这些新的人工智能合作伙伴是必不可少的(参见最近的评论(1-3))。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新ML技术。其中包括支持向量机(SVMs)、随机森林、概率图形模型、强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出了高性能,但它们在可解释性方面是不透明的。ML性能(例如,预测准确性)和可解释性之间可能存在固有的冲突。通常,性能最好的方法(如DL)是最不可解释的,而最可解释的方法(如决策树)是最不准确的。图1用一些ML技术的性能可解释性权衡的概念图说明了这一点。

图1 ML技术的性能与可解释性权衡。

(A)学习技巧和解释能力。(B)可解释模型:学习更结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系的学习模型,以及使用随机语法学习更多可解释的结构。深度学习:一些设计选择可能产生更多可解释的表示(例如,训练数据选择、架构层、损失函数、正则化、优化技术和训练序列)。模型不可知论者:对任意给定的ML模型(如黑箱)进行试验以推断出一个近似可解释的模型的技术。

什么是XAI?

一个可解释的人工智能(XAI)系统的目的是通过提供解释使其行为更容易被人类理解。有一些通用原则可以帮助创建有效的、更人性化的人工智能系统:XAI系统应该能够解释它的能力和理解;解释它已经做了什么,现在正在做什么,接下来会发生什么; 披露其所依据的重要信息(4)。

然而,每一个解释都是根据AI系统用户的任务、能力和期望而设置的。因此,可解释性和可解释性的定义是与域相关的,并且可能不是与域独立定义的。解释可以是全面的,也可以是片面的。完全可解释的模型给出了完整和完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释模型服从根据域定义的“可解释性约束”(例如,某些变量和相关变量的单调性服从特定关系),而黑箱或无约束模型不一定服从这些约束。部分解释可能包括变量重要性度量、局部模型(在特定点近似全局模型)和显著性图。

来自用户的期望

XAI假设向最终用户提供一个解释,该用户依赖于AI系统所产生的决策、建议或操作,然而可能有许多不同类型的用户,通常在系统开发和使用的不同时间点(5)。例如,一种类型的用户可能是智能分析师、法官或操作员。但是,需要对系统进行解释的其他用户可能是开发人员或测试操作员,他们需要了解哪里可能有改进的地方。然而,另一个用户可能是政策制定者,他们试图评估系统的公平性。每个用户组可能有一个首选的解释类型,能够以最有效的方式交流信息。有效的解释将考虑到系统的目标用户组,他们的背景知识可能不同,需要解释什么。

可操作性——评估和测量

一些方法提出了一些评价和衡量解释有效性的方法;然而,目前还没有通用的方法来衡量XAI系统是否比非XAI系统更容易被用户理解。其中一些度量是用户角度的主观度量,例如用户满意度,可以通过对解释的清晰度和实用性的主观评级来度量。解释有效性的更客观的衡量标准可能是任务绩效; 即,这样的解释是否提高了用户的决策能力?可靠和一致的测量解释的影响仍然是一个开放的研究问题。XAI系统的评价和测量包括评价框架、共同点[不同的思维和相互理解(6)]、常识和论证[为什么(7)]。

XAI -问题和挑战

在ML和解释的交集处仍然存在许多活跃的问题和挑战。

  1. 从电脑开始还是从人开始(8). XAI系统应该针对特定的用户进行解释吗?他们应该考虑用户缺乏的知识吗?我们如何利用解释来帮助交互式和人在循环的学习,包括让用户与解释交互以提供反馈和指导学习?

  2. 准确性与可解释性。XAI解释研究的一条主线是探索解释的技术和局限性。可解释性需要考虑准确性和保真度之间的权衡,并在准确性、可解释性和可处理性之间取得平衡。

  3. 使用抽象来简化解释。高级模式是在大步骤中描述大计划的基础。对抽象的自动发现一直是一个挑战,而理解学习和解释中抽象的发现和共享是当前XAI研究的前沿。

  4. 解释能力与解释决策。有资格的专家精通的一个标志是他们能够对新情况进行反思。有必要帮助终端用户了解人工智能系统的能力,包括一个特定的人工智能系统有哪些能力,如何衡量这些能力,以及人工智能系统是否存在盲点;也就是说,有没有一类解是永远找不到的?

从以人为本的研究视角来看,对能力和知识的研究可以使XAI超越解释特定XAI系统和帮助用户确定适当信任的角色。未来,XAIs可能最终会扮演重要的社会角色。这些角色不仅包括向个人学习和解释,而且还包括与其他代理进行协调以连接知识、发展跨学科见解和共同点、合作教授人员和其他代理,以及利用以前发现的知识来加速知识的进一步发现和应用。从这样一个知识理解和生成的社会视角来看,XAI的未来才刚刚开始。

本期刊论文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我们会相信机器人吗?科幻小说说没有,但可解释的机器人可能会找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最适合促进信任的解释方法不一定对应于那些有助于最佳任务性能的组件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的强化学习方法能从形式化的语言中获得回报,并保证了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

参考文献:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

成为VIP会员查看完整内容
0
70

报告主题: Explanation In AI: From Machine Learning To Knowledge Representation And Reasoning And Beyond

嘉宾介绍: Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

成为VIP会员查看完整内容
Alberta-FreddyLecue-Thales-XAI-ExplanationInAI-FromMachineLearningToKnowledgeRepresentationAndReasoningAndBeyond.pdf
0
49
小贴士
相关论文
Qi Qi,Zhishuai Guo,Yi Xu,Rong Jin,Tianbao Yang
0+阅读 · 2020年11月24日
Benyamin Ghojogh,Ali Ghodsi,Fakhri Karray,Mark Crowley
0+阅读 · 2020年11月22日
Qi Qi,Zhishuai Guo,Yi Xu,Rong Jin,Tianbao Yang
0+阅读 · 2020年11月20日
Matilde Gargiani,Andrea Zanelli,Quoc Tran-Dinh,Moritz Diehl,Frank Hutter
0+阅读 · 2020年11月20日
S. Sairam,Seshadhri Srinivasan,G. Marafioti,B. Subathra,G. Mathisen,Korkut Bekiroglu
0+阅读 · 2020年11月19日
Dominique Mercier,Andreas Dengel,Sheraz Ahmed
0+阅读 · 2020年11月19日
Hiroyasu Tsukamoto,Soon-Jo Chung
0+阅读 · 2020年11月19日
A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI
Erico Tjoa,Cuntai Guan
3+阅读 · 2019年10月15日
GCN-LASE: Towards Adequately Incorporating Link Attributes in Graph Convolutional Networks
Ziyao Li,Liang Zhang,Guojie Song
4+阅读 · 2019年5月30日
Yuxia Geng,Jiaoyan Chen,Ernesto Jimenez-Ruiz,Huajun Chen
3+阅读 · 2019年1月20日
Top