我们给出了一个关于调查透明度和可解释性的前沿教程,因为它们与NLP有关。研究团体和业界都在开发新的技术,以使黑箱型NLP模型更加透明和可解释。来自社会科学、人机交互(HCI)和NLP研究人员的跨学科团队的报告,我们的教程有两个组成部分:对可解释的人工智能(XAI)的介绍和对NLP中可解释性研究的最新回顾; 研究结果来自一个大型跨国技术和咨询公司在现实世界中从事NLP项目的个人的定性访谈研究。第一部分将介绍NLP中与可解释性相关的核心概念。然后,我们将讨论NLP任务的可解释性,并对AI、NLP和HCI会议上的最新文献进行系统的文献综述。第二部分报告了我们的定性访谈研究,该研究确定了包括NLP在内的现实世界开发项目中出现的实际挑战和担忧。

自然语言处理中可解释AI的现状调研

近年来,最领先的模型在性能上取得了重要的进步,但这是以模型变得越来越难以解释为代价的。本调研提出了可解释AI (XAI)的当前状态的概述,在自然语言处理(NLP)领域内考虑。我们讨论解释的主要分类,以及解释可以达到和可视化的各种方式。我们详细介绍了目前可用来为NLP模型预测生成解释的操作和可解释性技术,以作为社区中模型开发人员的资源。最后,我们指出了在这个重要的研究领域目前的挑战和未来可能工作方向。

https://www.zhuanzhi.ai/paper/377e285abccf56a823a3fd0ad7a3f958

成为VIP会员查看完整内容
0
51

相关内容

一个可以解释的AI(Explainable AI, 简称XAI)或透明的AI(Transparent AI),其行为可以被人类容易理解。它与机器学习中“ 黑匣子 ” 的概念形成鲜明对比,这意味着复杂算法运作的“可解释性”,即使他们的设计者也无法解释人工智能为什么会做出具体决定。 XAI可用于实现社会解释的权利。有些人声称透明度很少是免费提供的,并且在人工智能的“智能”和透明度之间经常存在权衡; 随着AI系统内部复杂性的增加,这些权衡预计会变得更大。解释AI决策的技术挑战有时被称为可解释性问题。另一个考虑因素是信息(信息过载),因此,完全透明可能并不总是可行或甚至不需要。提供的信息量应根据利益相关者与智能系统的交互情况而有所不同。 https://www.darpa.mil/program/explainable-artificial-intelligence

【导读】国际人工智能会议AAAI 2021论文将在全程线上举办,时间在 2 月 2 日-2 月 9 日,本届大会也将是第 35 届 AAAI 大会。大会涵盖了众多最近研究Tutorial报告,来自Freddy Lecue, Pasquale Minervini, Fosca Giannotti and Riccardo Guidotti博士共同做了关于可解释人工智能的进展报告,非常值得关注!

人工智能的未来在于使人类能够与机器合作解决复杂的问题。就像任何有效的合作一样,这需要良好的沟通、信任、清晰和理解。可解释人工智能(XAI)旨在通过结合符号人工智能和传统机器学习的优点来应对此类挑战。多年来,各种不同的AI社区都在研究这一主题,他们有着不同的定义、评估指标、动机和结果。

本教程是XAI迄今为止工作的一个概述,并综述了AI社区所完成的工作,重点是机器学习和符号AI相关方法。我们将阐述XAI在现实世界和大规模应用中的需求,同时提供最先进的技术和最佳的XAI编码实践。在教程的第一部分,我们将介绍AI的不同方面的解释。然后,我们将本教程重点介绍两种具体方法:(i) XAI使用机器学习,(ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们都进入了具体的方法,目前的技术水平和下一步的研究挑战。本教程的最后一部分概述了XAI的实际应用以及最佳XAI编码实践。

地址: https://aaai.org/Conferences/AAAI-21/aaai21tutorials/#AH7

成为VIP会员查看完整内容
0
33

深度神经网络在计算机视觉、计算语言学和人工智能等领域的广泛应用无疑带来了巨大的成功。然而,DNNs成功的基本原理、DNNs的可信性和DNNs对抗攻击的恢复能力仍然很大程度上缺乏。在可解释人工智能的范围内,对网络预测解释可信度的量化和DNN特征可信度的分析成为一个引人注目但又有争议的话题。相关问题包括: (1)网络特征可信度的量化; (2)DNNs解释的客观性、鲁棒性、语义严谨性; (3)可解释神经网络解释性的语义严谨性等。重新思考现有可解释机器学习方法的可信性和公平性,对可解释机器学习的进一步发展具有重要的价值。

本教程旨在将关注人工智能可解释性、安全性和可靠性的研究人员、工程师以及行业从业人员聚集在一起。本教程介绍了一些关于上述问题的新发现,这些发现来自演讲者最近的论文和一些经典研究。对当前可解释人工智能算法的优点和局限性的批判性讨论提供了新的前瞻性研究方向。本教程预计将对医疗诊断、金融和自动驾驶等关键工业应用产生深远影响。

https://ijcai20interpretability.github.io/

成为VIP会员查看完整内容
0
70

机器学习的巨大成功导致了AI应用的新浪潮(例如,交通、安全、医疗、金融、国防),这些应用提供了巨大的好处,但无法向人类用户解释它们的决定和行动。DARPA的可解释人工智能(XAI)项目致力于创建人工智能系统,其学习的模型和决策可以被最终用户理解并适当信任。实现这一目标需要学习更多可解释的模型、设计有效的解释界面和理解有效解释的心理要求的方法。XAI开发团队正在通过创建ML技术和开发原理、策略和人机交互技术来解决前两个挑战,以生成有效的解释。XAI的另一个团队正在通过总结、扩展和应用心理解释理论来解决第三个挑战,以帮助XAI评估人员定义一个合适的评估框架,开发团队将使用这个框架来测试他们的系统。XAI团队于2018年5月完成了第一个为期4年的项目。在一系列正在进行的评估中,开发人员团队正在评估他们的XAM系统的解释在多大程度上改善了用户理解、用户信任和用户任务性能。

成为VIP会员查看完整内容
0
22

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开。来自美国Linkedin、AWS等几位学者共同给了关于在工业界中可解释人工智能的报告,讲述了XAI概念、方法以及面临的挑战和经验教训。

人工智能在我们的日常生活中扮演着越来越重要的角色。此外,随着基于人工智能的解决方案在招聘、贷款、刑事司法、医疗和教育等领域的普及,人工智能对个人和职业的影响将是深远的。人工智能模型在这些领域所起的主导作用已经导致人们越来越关注这些模型中的潜在偏见,以及对模型透明性和可解释性的需求。此外,模型可解释性是在需要可靠性和安全性的高风险领域(如医疗和自动化交通)以及具有重大经济意义的关键工业应用(如预测维护、自然资源勘探和气候变化建模)中建立信任和采用人工智能系统的先决条件。

因此,人工智能的研究人员和实践者将他们的注意力集中在可解释的人工智能上,以帮助他们更好地信任和理解大规模的模型。研究界面临的挑战包括 (i) 定义模型可解释性,(ii) 为理解模型行为制定可解释性任务,并为这些任务开发解决方案,最后 (iii)设计评估模型在可解释性任务中的性能的措施。

在本教程中,我们将概述AI中的模型解译性和可解释性、关键规则/法律以及作为AI/ML系统的一部分提供可解释性的技术/工具。然后,我们将关注可解释性技术在工业中的应用,在此我们提出了有效使用可解释性技术的实践挑战/指导方针,以及在几个网络规模的机器学习和数据挖掘应用中部署可解释模型的经验教训。我们将介绍不同公司的案例研究,涉及的应用领域包括搜索和推荐系统、销售、贷款和欺诈检测。最后,根据我们在工业界的经验,我们将确定数据挖掘/机器学习社区的开放问题和研究方向。

https://sites.google.com/view/www20-explainable-ai-tutorial

成为VIP会员查看完整内容
0
135

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.

可解释AI:基础、工业应用、实际挑战和经验教训

地址https://xaitutorial2020.github.io/

Tutorial 目标 本教程的目的是为以下问题提供答案:

  • 什么是可解释的AI (XAI)

    • 什么是可解释的AI(简称XAI) ?,人工智能社区(机器学习、逻辑学、约束编程、诊断)的各种流有什么解释?解释的度量标准是什么?
  • 我们为什么要关心?

    • 为什么可解释的AI很重要?甚至在某些应用中至关重要?阐述人工智能系统的动机是什么?
  • 哪里是关键?

    • 在大规模部署人工智能系统时,真正需要解释的实际应用是什么?
  • 它是如何工作的?

    • 在计算机视觉和自然语言处理中,最先进的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,什么有效,什么没有效?
  • 我们学到了什么?

    • 部署现有XAI系统的经验教训和局限性是什么?在向人类解释的过程中?
  • 下一个是什么?

    • 未来的发展方向是什么?

概述

人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。

本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。

Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

目录与内容

第一部分: 介绍和动机

人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解释(不仅仅是机器学习!)

人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。

第三部分: 可解释的机器学习(从机器学习的角度)

在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。

第四部分: 可解释的机器学习(从知识图谱的角度)

在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。

第五部分: XAI工具的应用、经验教训和研究挑战

我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。

成为VIP会员查看完整内容
0
136

【导读】人工智能领域的国际顶级会议 AAAI 2019 即将于 1 月 27 日至 2 月 1 日在美国夏威夷举行。AAAI2019第一天的关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,是构建可解释模型的重要指南.

AI系统--我如何信任它们?

在现实生活中,每一个决策,无论是由机器还是低级员工又或是首席执行官做出的,为了达到提高整体的业务水平的目的,都要通过定期的审查,来解释他们的决定。这就产生了人工智能的新兴分支,称为“可解释的人工智能”(XAI)。

什么是可解释的AI(XAI)?

XAI是人工智能的一个新兴分支,用于解释人工智能所做出的每一个决策背后的逻辑。下图是对一个完整AI决策流程的简单描述。

AAAI 2019 tutorial: 可解释AI –从理论到动机,应用和局限性

一、本教程希望为以下问题提供答案:

  1. 什么是可解释的AI (XAI)?

    什么是可解释的AI(简称XAI),即人工智能社区的各种流程 (Machine Learning, Logics, Constraint Programming, Diagnostics)的解释是什么?解释的度量标准是什么?
    
  2. 我们为什么要在意?

    为什么可解释的人工智能很重要?甚至在某些应用中至关重要?解释人工智能系统的动机是什么?

  3. 它在哪里至关重要?

    在现实世界中,哪些应用程序需要解释如何大规模部署AI系统?
    
  4. 它是如何工作的?

    在计算机视觉和自然语言处理中,最前沿的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,哪些方法效果好,哪些方法效果不好?

  5. 我们学到了什么?

    部署现有可解释AI系统的经验教训和局限性是什么?在向人类解释的过程中学到了什么?
    
  6. 接下来的发展是什么?

    可解释AI未来的发展方向是什么?

二、概述

人工智能的未来在于使人们能够与机器协作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通,信任,清晰和理解。 可解释AI(XAI,eXplainable AI)旨在通过将符号人工智能与传统机器学习的最佳结合来应对这些挑战。多年来,人工智能的各个不同社区都在研究这一主题,它们有着不同的定义、评估指标、动机和结果。本教程简要介绍了可解释AI到目前为止的工作,并调研了人工智能社区在机器学习和符号人工智能相关方法方面所完成的工作。

在本教程的第一部分中,我们将介绍AI解释的不同方面。然后我们将本教程的重点放在两个具体的方法上:(i)使用机器学习的可解释AI和(ii)使用基于图(graph)的知识表示和机器学习结合的可解释AI。对于这两者,我们深入探讨了该方法的具体细节,现有技术以及后续步骤的研究挑战。本教程的最后一部分概述了可解释AI的实际应用。

三、大纲

【介绍】

人工智能解释的广泛介绍。这将包括从理论和应用的角度描述和激发对可解释AI技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同视角。

【可解释AI】

人工智能的各个领域(优化,知识表示和推理,机器学习,搜索和约束优化,规划,自然语言处理,机器人和视觉)的解释概述,使每个人对解释的不同定义保持一致。本教程将涵盖大多数定义,但只会深入以下领域:(i)可解释的机器学习,(ii)具有知识图和ML的可解释AI。

【可解释机器学习】

在本节中,我们将解决可解释的机器学习pipeline的广泛问题。我们描述了机器学习社区中可解释性的概念,并通过描述一些流行的可解释性模型来继续。本节的核心是对不同类别的黑箱问题进行分析,从黑箱模型讲解到黑箱结果讲解,最后是黑箱检查。

【用知识图谱和ML解释AI】

在本教程的这一部分中,我们将从两个不同的角度阐述基于图的知识库的解释力:

用语义网和逻辑解释AI

我们展示了支持语义web的模式丰富的、基于图的知识表示范式是如何实现有效解释的。本节还将重点介绍从大型异构知识库中表示和推断有效解释的逻辑和推理方法。

基于知识图谱的机器学习

在本节中,我们将重点讨论知识图嵌入模型,即将知识图中的概念编码为连续低维向量的神经架构。这些模型已经被证明对许多机器学习任务有效,特别是知识库的完成。我们解释了这些模型的基本原理和架构,并从它们的不可预测性以及如何增强第三方模型的可解释性的角度对它们进行了考察。

【应用】

我们展示了应用解释技术的真实示例。我们关注一些使用案例:i)具有内置解释功能的可解释的航班延误预测系统; ii)基于知识图的语义推理,预测和解释企业项目风险层次的大范围合同管理系统;iii) 500多个城市的大型组织员工异常报销的识别、解释和预测的费用体系。

Tutorial的讲者

PPT下载链接:https://pan.baidu.com/s/1dyjGJyhqS3-E77DysIkgHQ 提取码:aq79

成为VIP会员查看完整内容
0
54
小贴士
相关论文
Zhu Li,Jean-Francois Ton,Dino Oglic,Dino Sejdinovic
0+阅读 · 2月4日
Mikail Yayla,Mario Günzel,Burim Ramosaj,Jian-Jia Chen
0+阅读 · 2月4日
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Hao Fu,Shaojun Zhou,Qihong Yang,Junjie Tang,Guiquan Liu,Kaikui Liu,Xiaolong Li
4+阅读 · 2020年12月14日
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
Alejandro Barredo Arrieta,Natalia Díaz-Rodríguez,Javier Del Ser,Adrien Bennetot,Siham Tabik,Alberto Barbado,Salvador García,Sergio Gil-López,Daniel Molina,Richard Benjamins,Raja Chatila,Francisco Herrera
38+阅读 · 2019年10月22日
Chi Nhan Duong,Khoa Luu,Kha Gia Quach,Nghia Nguyen,Eric Patterson,Tien D. Bui,Ngan Le
3+阅读 · 2018年11月27日
CoQA: A Conversational Question Answering Challenge
Siva Reddy,Danqi Chen,Christopher D. Manning
7+阅读 · 2018年8月21日
A Multi-Objective Deep Reinforcement Learning Framework
Thanh Thi Nguyen
9+阅读 · 2018年6月27日
Daniel Gordon,Aniruddha Kembhavi,Mohammad Rastegari,Joseph Redmon,Dieter Fox,Ali Farhadi
4+阅读 · 2018年4月5日
Matthew Kennedy,Nicholas A. Manor,Vern I. Paulsen
3+阅读 · 2017年12月7日
Top