深度神经网络在计算机视觉、计算语言学和人工智能等领域的广泛应用无疑带来了巨大的成功。然而,DNNs成功的基本原理、DNNs的可信性和DNNs对抗攻击的恢复能力仍然很大程度上缺乏。在可解释人工智能的范围内,对网络预测解释可信度的量化和DNN特征可信度的分析成为一个引人注目但又有争议的话题。相关问题包括: (1)网络特征可信度的量化; (2)DNNs解释的客观性、鲁棒性、语义严谨性; (3)可解释神经网络解释性的语义严谨性等。重新思考现有可解释机器学习方法的可信性和公平性,对可解释机器学习的进一步发展具有重要的价值。

本教程旨在将关注人工智能可解释性、安全性和可靠性的研究人员、工程师以及行业从业人员聚集在一起。本教程介绍了一些关于上述问题的新发现,这些发现来自演讲者最近的论文和一些经典研究。对当前可解释人工智能算法的优点和局限性的批判性讨论提供了新的前瞻性研究方向。本教程预计将对医疗诊断、金融和自动驾驶等关键工业应用产生深远影响。

https://ijcai20interpretability.github.io/

成为VIP会员查看完整内容
0
56

相关内容

我们给出了一个关于调查透明度和可解释性的前沿教程,因为它们与NLP有关。研究团体和业界都在开发新的技术,以使黑箱型NLP模型更加透明和可解释。来自社会科学、人机交互(HCI)和NLP研究人员的跨学科团队的报告,我们的教程有两个组成部分:对可解释的人工智能(XAI)的介绍和对NLP中可解释性研究的最新回顾; 研究结果来自一个大型跨国技术和咨询公司在现实世界中从事NLP项目的个人的定性访谈研究。第一部分将介绍NLP中与可解释性相关的核心概念。然后,我们将讨论NLP任务的可解释性,并对AI、NLP和HCI会议上的最新文献进行系统的文献综述。第二部分报告了我们的定性访谈研究,该研究确定了包括NLP在内的现实世界开发项目中出现的实际挑战和担忧。

自然语言处理中可解释AI的现状调研

近年来,最领先的模型在性能上取得了重要的进步,但这是以模型变得越来越难以解释为代价的。本调研提出了可解释AI (XAI)的当前状态的概述,在自然语言处理(NLP)领域内考虑。我们讨论解释的主要分类,以及解释可以达到和可视化的各种方式。我们详细介绍了目前可用来为NLP模型预测生成解释的操作和可解释性技术,以作为社区中模型开发人员的资源。最后,我们指出了在这个重要的研究领域目前的挑战和未来可能工作方向。

https://www.zhuanzhi.ai/paper/377e285abccf56a823a3fd0ad7a3f958

成为VIP会员查看完整内容
0
41

能够解释机器学习模型的预测在医疗诊断或自主系统等关键应用中是很重要的。深度非线性ML模型的兴起,在预测方面取得了巨大的进展。然而,我们不希望如此高的准确性以牺牲可解释性为代价。结果,可解释AI (XAI)领域出现了,并产生了一系列能够解释复杂和多样化的ML模型的方法。

在本教程中,我们结构化地概述了在深度神经网络(DNNs)的背景下为XAI提出的基本方法。特别地,我们提出了这些方法的动机,它们的优点/缺点和它们的理论基础。我们还展示了如何扩展和应用它们,使它们在现实场景中发挥最大的作用。

本教程针对的是核心和应用的ML研究人员。核心机器学习研究人员可能会有兴趣了解不同解释方法之间的联系,以及广泛的开放问题集,特别是如何将XAI扩展到新的ML算法。应用ML研究人员可能会发现,理解标准验证程序背后的强大假设是很有趣的,以及为什么可解释性对进一步验证他们的模型是有用的。他们可能还会发现新的工具来分析他们的数据并从中提取见解。参与者将受益于技术背景(计算机科学或工程)和基本的ML训练。

目录内容:

Part 1: Introduction to XAI (WS) 可解释人工智能

  • Motivations for XAI
  • Methods and Validation of XAI
  • The Clever Hans Effect

Part 2: Methods for Explaining DNNs (GM) 可解释深度神经网络方法

  • Self-Explainable DNNs
  • Perturbation-Based Explanation Techniques
  • Propagation-Based Explanation Techniques

Part 3: Implementation, Theory, Evaluation, Extensions (GM) 实现,理论、评价

  • Implementating XAI Techniques for DNNs
  • Theoretical Embedding of XAI
  • Desiderata of XAI Techniques and Evaluation
  • Extending XAI Beyond Heatmaps and DNNs

Part 4: Applications (WS) 应用

  • Walk-Through Examples
  • Debugging Large Datasets (Meta-Explanations and "Unhansing")
  • XAI in the Sciences
成为VIP会员查看完整内容
0
36

目前,深度神经网络广泛应用于医疗、自动驾驶汽车、军事等直接影响人类生活的关键任务系统。然而,深度神经网络的黑箱特性对其在关键任务应用中的应用提出了挑战,引发了道德和司法方面的担忧,导致信任缺失。可解释人工智能(XAI)是人工智能(AI)的一个领域,它促进了一套工具、技术和算法,可以生成高质量的可解释的、直观的、人类可以理解的人工智能决策解释。除了在深度学习中提供当前XAI景观的整体视图外,本文还提供了开创性工作的数学总结。首先,我们根据XAI技术的解释范围、算法背后的方法论以及有助于构建可信、可解释和自解释的深度学习模型的解释级别或用法,提出了一种分类和分类方法。然后,我们描述了在XAI研究中使用的主要原则,并给出了2007年至2020年XAI里程碑式研究的历史时间表。在详细解释了每一类算法和方法之后,我们对8种XAI算法在图像数据上生成的解释图进行了评估,讨论了该方法的局限性,并为进一步改进XAI评估提供了潜在的方向。

基于人工智能(AI)的算法,尤其是使用深度神经网络的算法,正在改变人类完成现实任务的方式。近年来,机器学习(ML)算法在科学、商业和社会工作流的各个方面的自动化应用出现了激增。这种激增的部分原因是ML领域(被称为深度学习(DL))研究的增加,在深度学习中,数千(甚至数十亿)个神经元参数被训练用于泛化执行特定任务。成功使用DL算法在医疗(Torres2018, Lee2019, Chen2020)、眼科(Sayres2019、Das2019 Son2020],发育障碍(MohammadianRad2018、Heinsfeld2018 Silva2020Temporal],在自主机器人和车辆(You2019、Grigorescu2019 Feng2020],在图像处理的分类和检测[Sahba2018 Bendre2020Human], 在语音和音频处理(Boles2017, Panwar2017),网络安全(Parra2020Detecting, Chacon2019Deep), 还有更多DL算法在我们日常生活中被成功应用。

深度神经网络中大量的参数使其理解复杂,不可否认地更难解释。不管交叉验证的准确性或其他可能表明良好学习性能的评估参数如何,深度学习(DL)模型可能天生就能从人们认为重要的数据中学习表示,也可能无法从这些数据中学习表示。解释DNNs所做的决策需要了解DNNs的内部运作,而非人工智能专家和更专注于获得准确解决方案的最终用户则缺乏这些知识。因此,解释人工智能决策的能力往往被认为是次要的,以达到最先进的结果或超越人类水平的准确性。

对XAI的兴趣,甚至来自各国政府,特别是欧洲通用数据保护条例(GDPR) [AIHLEG2019]的规定,显示出AI的伦理[Cath2017, Keskinbora2019, Etzioni2017, Bostrom2014, stahl2018ethics], trust [Weld2019, Lui2018, Hengstler2016], bias [Chen2019Hidden, Challen2019, Sinz2019, Osoba2017]的重要实现,以及对抗性例子[Kurakin2016, Goodfellow2015, Su2019, Huang2017]在欺骗分类器决策方面的影响。在[Miller2019], Miller等人描述了好奇心是人们要求解释具体决策的主要原因之一。另一个原因可能是为了促进更好的学习——重塑模型设计并产生更好的结果。每种解释都应该在相似的数据点上保持一致,并且随着时间的推移对同一数据点产生稳定或相似的解释[Sokol2020]。解释应该使人工智能算法表达,以提高人类的理解能力,提高决策的信心,并促进公正和公正的决策。因此,为了在ML决策过程中保持透明度、信任和公平性,ML系统需要一个解释或可解释的解决方案。

解释是一种验证人工智能代理或算法的输出决策的方法。对于一个使用显微图像的癌症检测模型,解释可能意味着一个输入像素的地图,这有助于模型输出。对于语音识别模型,解释可能是特定时间内的功率谱信息对当前输出决策的贡献较大。解释也可以基于参数或激活的训练模型解释或使用代理,如决策树或使用梯度或其他方法。在强化学习算法的背景下,一个解释可能会给出为什么一个代理做了一个特定的决定。然而,可解释和可解释的人工智能的定义通常是通用的,可能会引起误解[Rudin2019],应该整合某种形式的推理[Doran2018]。

AI模型的集合,比如决策树和基于规则的模型,本质上是可解释的。但是,与深度学习模型相比,存在可解释性与准确性权衡的缺点。本文讨论了研究人员解决深度学习算法可解释性问题的不同方法和观点。如果模型参数和体系结构是已知的,方法可以被有效地使用。然而,现代基于api的人工智能服务带来了更多的挑战,因为该问题的相对“黑箱”(Castelvecchi2016)性质,即终端用户只掌握提供给深度学习模型的输入信息,而不是模型本身。

在这个综述中,我们提供了一个可解释算法的全面概述,并将重要事件的时间轴和研究出版物划分为三个定义完好的分类,如图1所示。不像许多其他的综述,只分类和总结在一个高水平上发表的研究,我们提供额外的数学概述和算法的重大工作在XAI领域。调查中提出的算法被分成三个定义明确的类别,下面将详细描述。文献中提出的各种评价XAI的技术也进行了讨论,并讨论了这些方法的局限性和未来的发展方向。

我们的贡献可以概括如下:

  • 为了系统地分析深度学习中可解释和可解释的算法,我们将XAI分类为三个定义明确的类别,以提高方法的清晰度和可访问性。

  • 我们审查,总结和分类的核心数学模型和算法,最近XAI研究提出的分类,并讨论重要工作的时间。

  • 我们生成并比较了八种不同XAI算法的解释图,概述了这种方法的局限性,并讨论了使用深度神经网络解释来提高信任、透明度、偏差和公平的未来可能的方向。

成为VIP会员查看完整内容
0
73

【导读】国际万维网大会(The Web Conference,简称WWW会议)是由国际万维网会议委员会发起主办的国际顶级学术会议,创办于1994年,每年举办一届,是CCF-A类会议。WWW 2020将于2020年4月20日至4月24日在中国台湾台北举行。本届会议共收到了1129篇长文投稿,录用217篇长文,录用率为19.2%。这周会议已经召开。来自美国Linkedin、AWS等几位学者共同给了关于在工业界中可解释人工智能的报告,讲述了XAI概念、方法以及面临的挑战和经验教训。

人工智能在我们的日常生活中扮演着越来越重要的角色。此外,随着基于人工智能的解决方案在招聘、贷款、刑事司法、医疗和教育等领域的普及,人工智能对个人和职业的影响将是深远的。人工智能模型在这些领域所起的主导作用已经导致人们越来越关注这些模型中的潜在偏见,以及对模型透明性和可解释性的需求。此外,模型可解释性是在需要可靠性和安全性的高风险领域(如医疗和自动化交通)以及具有重大经济意义的关键工业应用(如预测维护、自然资源勘探和气候变化建模)中建立信任和采用人工智能系统的先决条件。

因此,人工智能的研究人员和实践者将他们的注意力集中在可解释的人工智能上,以帮助他们更好地信任和理解大规模的模型。研究界面临的挑战包括 (i) 定义模型可解释性,(ii) 为理解模型行为制定可解释性任务,并为这些任务开发解决方案,最后 (iii)设计评估模型在可解释性任务中的性能的措施。

在本教程中,我们将概述AI中的模型解译性和可解释性、关键规则/法律以及作为AI/ML系统的一部分提供可解释性的技术/工具。然后,我们将关注可解释性技术在工业中的应用,在此我们提出了有效使用可解释性技术的实践挑战/指导方针,以及在几个网络规模的机器学习和数据挖掘应用中部署可解释模型的经验教训。我们将介绍不同公司的案例研究,涉及的应用领域包括搜索和推荐系统、销售、贷款和欺诈检测。最后,根据我们在工业界的经验,我们将确定数据挖掘/机器学习社区的开放问题和研究方向。

https://sites.google.com/view/www20-explainable-ai-tutorial

成为VIP会员查看完整内容
0
125

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。迁移学习近年来受到了非常大的关注,今年AAAI也有很多相关论文,这场Tutorial全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,还讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示,是一个非常全面的迁移表示学习总结,讲者最后也介绍了其未来发展趋势,值得研究者关注和收藏。

迁移表示学习最新进展

Recent Advances in Transferable Representation Learning

Tutorial 目标

本教程针对有兴趣将深度学习技术应用于跨域决策任务的AI研究人员和从业人员。这些任务包括涉及多语言和跨语言自然语言处理,特定领域知识以及不同数据模式的任务。本教程将为听众提供以下方面的整体观点:(i)针对未标记的文本,多关系和多媒体数据的多种表示学习方法;(ii)在有限的监督下跨多种表示对齐和迁移知识的技术;以及(iii)在自然语言理解,知识库和计算生物学中使用这些技术的大量AI应用程序。我们将通过概述该领域未来的研究方向来结束本教程。观众不需要有特定的背景知识。

概述

许多人工智能任务需要跨域决策。例如,许多NLP任务涉及跨多种语言的预测,其中可以将不同的语言视为不同的域;在人工智能辅助的生物医学研究中,药物副作用的预测常常与蛋白质和有机体相互作用的建模并行进行。为了支持机器学习模型来解决这种跨域任务,必须提取不同域中数据组件的特征和关系,并在统一的表示方案中捕获它们之间的关联。为了满足这一需求,表示学习的最新进展往往涉及到将不同域的未标记数据映射到共享嵌入空间。这样,跨域的知识迁移可以通过向量搭配或变换来实现。这种可迁移的表现形式在涉及跨域决策的一系列人工智能应用中取得了成功。然而,这一领域的前沿研究面临两大挑战。一是在学习资源很少的情况下如何有效地从特定领域中提取特性。另一个是在最少的监督下精确地对齐和传递知识,因为连接不同域的对齐信息常常是不充分和有噪声的。

在本教程中,我们将全面回顾可迁移表示学习方法的最新发展,重点介绍文本、多关系和多媒体数据的可迁移表示学习方法。除了介绍域内嵌入学习方法外,我们还将讨论各种半监督、弱监督、多视图和自监督学习技术来连接多个域特定的嵌入表示。我们还将比较域内嵌入算法和跨域对齐算法的改进和联合学习过程。此外,我们将讨论如何利用获得的可迁移表征来解决低资源和无标签的学习任务。参会者将了解本主题的最新趋势和挑战,了解代表性工具和学习资源以获取即用型模型,以及相关的模型和技术如何有益于现实世界AI应用程序。

讲者介绍

Muhao Chen目前是美国宾夕法尼亚大学研究生院博士后。他于2019年在加州大学洛杉矶分校获得了计算机科学博士学位。Muhao从事过机器学习和NLP方面的各种课题。他最近的研究也将相关技术应用于计算生物学。更多信息请访问http://muhaochen.github.io。

Kai-Wei Chang是加州大学洛杉矶分校计算机科学系的助理教授。他的研究兴趣包括为大型复杂数据设计鲁棒的机器学习方法,以及为社会公益应用程序构建语言处理模型。其他信息请访问http://kwchang.net。

Dan Roth是宾夕法尼亚大学CIS的Eduardo D. Glandt Distinguished Professor,也是AAAS、ACM、AAAI和ACL的Fellow。Roth因在自然语言理解建模、机器学习和推理方面的重大概念和理论进展而被认可。更多信息可以参考:http://www.cis.upenn.edu/˜danroth /.

成为VIP会员查看完整内容
0
74
小贴士
相关VIP内容
相关论文
Linda H. Boedi,Helmut Grabner
0+阅读 · 1月21日
Mattia Setzu,Riccardo Guidotti,Anna Monreale,Franco Turini,Dino Pedreschi,Fosca Giannotti
0+阅读 · 1月19日
Jason Gray,Daniele Sgandurra,Lorenzo Cavallaro
0+阅读 · 1月18日
DEPARA: Deep Attribution Graph for Deep Knowledge Transferability
Jie Song,Yixin Chen,Jingwen Ye,Xinchao Wang,Chengchao Shen,Feng Mao,Mingli Song
5+阅读 · 2020年3月17日
A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI
Erico Tjoa,Cuntai Guan
3+阅读 · 2019年10月15日
A Context-Aware Citation Recommendation Model with BERT and Graph Convolutional Networks
Chanwoo Jeong,Sion Jang,Hyuna Shin,Eunjeong Park,Sungchul Choi
9+阅读 · 2019年3月15日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
6+阅读 · 2019年2月19日
Yongfeng Zhang,Xu Chen
10+阅读 · 2018年5月13日
Ruobing Xie,Zhiyuan Liu,Fen Lin,Leyu Lin
10+阅读 · 2018年2月16日
Xu Chen,Yongfeng Zhang,Hongteng Xu,Yixin Cao,Zheng Qin,Hongyuan Zha
7+阅读 · 2018年1月31日
Top