可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
115

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

能够解释机器学习模型的预测在医疗诊断或自主系统等关键应用中是很重要的。深度非线性ML模型的兴起,在预测方面取得了巨大的进展。然而,我们不希望如此高的准确性以牺牲可解释性为代价。结果,可解释AI (XAI)领域出现了,并产生了一系列能够解释复杂和多样化的ML模型的方法。

在本教程中,我们结构化地概述了在深度神经网络(DNNs)的背景下为XAI提出的基本方法。特别地,我们提出了这些方法的动机,它们的优点/缺点和它们的理论基础。我们还展示了如何扩展和应用它们,使它们在现实场景中发挥最大的作用。

本教程针对的是核心和应用的ML研究人员。核心机器学习研究人员可能会有兴趣了解不同解释方法之间的联系,以及广泛的开放问题集,特别是如何将XAI扩展到新的ML算法。应用ML研究人员可能会发现,理解标准验证程序背后的强大假设是很有趣的,以及为什么可解释性对进一步验证他们的模型是有用的。他们可能还会发现新的工具来分析他们的数据并从中提取见解。参与者将受益于技术背景(计算机科学或工程)和基本的ML训练。

目录内容:

Part 1: Introduction to XAI (WS) 可解释人工智能

  • Motivations for XAI
  • Methods and Validation of XAI
  • The Clever Hans Effect

Part 2: Methods for Explaining DNNs (GM) 可解释深度神经网络方法

  • Self-Explainable DNNs
  • Perturbation-Based Explanation Techniques
  • Propagation-Based Explanation Techniques

Part 3: Implementation, Theory, Evaluation, Extensions (GM) 实现,理论、评价

  • Implementating XAI Techniques for DNNs
  • Theoretical Embedding of XAI
  • Desiderata of XAI Techniques and Evaluation
  • Extending XAI Beyond Heatmaps and DNNs

Part 4: Applications (WS) 应用

  • Walk-Through Examples
  • Debugging Large Datasets (Meta-Explanations and "Unhansing")
  • XAI in the Sciences
成为VIP会员查看完整内容
0
46

【导读】牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络 (Explaining Deep Neural Networks)》,系统性介绍了深度神经网络可解释性方面的工作,值得关注。

作者介绍:

Oana-Maria Camburu,来自罗马尼亚,目前是牛津大学的博士生,主修机器学习、人工智能等方向。

Explaining Deep Neural Networks

深度神经网络在计算机视觉、自然语言处理和语音识别等不同领域取得了革命性的成功,因此越来越受欢迎。然而,这些模型的决策过程通常是无法向用户解释的。在各种领域,如医疗保健、金融或法律,了解人工智能系统所做决策背后的原因至关重要。因此,最近研究了几个解释神经模型的方向。

在这篇论文中,我研究了解释深层神经网络的两个主要方向。第一个方向由基于特征的事后解释方法组成,也就是说,这些方法旨在解释一个已经训练过的固定模型(事后解释),并提供输入特征方面的解释,例如文本标记和图像的超级像素(基于特征的)。第二个方向由生成自然语言解释的自解释神经模型组成,也就是说,模型有一个内置模块,为模型的预测生成解释。在这些方面的贡献如下:

  • 首先,我揭示了仅使用输入特征来解释即使是微不足道的模型也存在一定的困难。我表明,尽管有明显的隐含假设,即解释方法应该寻找一种特定的基于真实值特征的解释,但对于预测通常有不止一种这样的解释。我还展示了两类流行的解释方法,它们针对的是不同类型的事实基础解释,但没有明确地提及它。此外,我还指出,有时这两种解释都不足以提供一个实例上决策过程的完整视图。

  • 其次,我还介绍了一个框架,用于自动验证基于特征的事后解释方法对模型的决策过程的准确性。这个框架依赖于一种特定类型的模型的使用,这种模型有望提供对其决策过程的洞察。我分析了这种方法的潜在局限性,并介绍了减轻这些局限性的方法。引入的验证框架是通用的,可以在不同的任务和域上实例化,以提供现成的完整性测试,这些测试可用于测试基于特性的后特殊解释方法。我在一个情绪分析任务上实例化了这个框架,并提供了完备性测试s1,在此基础上我展示了三种流行的解释方法的性能。

  • 第三,为了探索为预测生成自然语言解释的自解释神经模型的发展方向,我在有影响力的斯坦福自然语言推断(SNLI)数据集之上收集了一个巨大的数据集,数据集约为570K人类编写的自然语言解释。我把这个解释扩充数据集称为e-SNLI。我做了一系列的实验来研究神经模型在测试时产生正确的自然语言解释的能力,以及在训练时提供自然语言解释的好处。

  • 第四,我指出,目前那些为自己的预测生成自然语言解释的自解释模型,可能会产生不一致的解释,比如“图像中有一只狗。”以及“同一幅图片中没有狗”。不一致的解释要么表明解释没有忠实地描述模型的决策过程,要么表明模型学习了一个有缺陷的决策过程。我将介绍一个简单而有效的对抗性框架,用于在生成不一致的自然语言解释时检查模型的完整性。此外,作为框架的一部分,我解决了使用精确目标序列的对抗性攻击的问题,这是一个以前在序列到序列攻击中没有解决的场景,它对于自然语言处理中的其他任务很有用。我将这个框架应用到e-SNLI上的一个最新的神经模型上,并表明这个模型会产生大量的不一致性。

这项工作为获得更稳健的神经模型以及对预测的可靠解释铺平了道路。

地址: https://arxiv.org/abs/2010.01496

成为VIP会员查看完整内容
0
129

异常检测已经得到了广泛的研究和应用。建立一个有效的异常检测系统需要研究者和开发者从嘈杂的数据中学习复杂的结构,识别动态异常模式,用有限的标签检测异常。与经典方法相比,近年来深度学习技术的进步极大地提高了异常检测的性能,并将异常检测扩展到广泛的应用领域。本教程将帮助读者全面理解各种应用领域中基于深度学习的异常检测技术。首先,我们概述了异常检测问题,介绍了在深度模型时代之前采用的方法,并列出了它们所面临的挑战。然后我们调查了最先进的深度学习模型,范围从构建块神经网络结构,如MLP, CNN,和LSTM,到更复杂的结构,如自动编码器,生成模型(VAE, GAN,基于流的模型),到深度单类检测模型,等等。此外,我们举例说明了迁移学习和强化学习等技术如何在异常检测问题中改善标签稀疏性问题,以及在实际中如何收集和充分利用用户标签。其次,我们讨论来自LinkedIn内外的真实世界用例。本教程最后讨论了未来的趋势。

https://sites.google.com/view/kdd2020deepeye/home

成为VIP会员查看完整内容
0
64

在一个常见的机器学习问题中,使用对训练数据集估计的模型,根据观察到的特征预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常会利用特征之间微妙的统计关系,这使得它们在应用于分布与训练数据不同的测试数据时,可能更容易出现预测错误。对于学术研究和实际应用来说,如何开发能够稳定和稳健地转换数据的学习模型是至关重要的。

因果推理是指根据效果发生的条件得出因果关系的结论的过程,是一种强大的统计建模工具,用于解释和稳定学习。本教程侧重于因果推理和稳定学习,旨在从观察数据中探索因果知识,提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推论,并介绍一些最近的数据驱动方法,以估计因果效应从观测数据,特别是在高维设置。为了弥补因果推理和机器学习之间的差距,我们首先给出了稳定性和鲁棒性学习算法的定义,然后将介绍一些最近的稳定学习算法来提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来的发展方向,并提供稳定学习的基准。

http://kdd2020tutorial.thumedialab.com/

成为VIP会员查看完整内容
0
39

深度神经网络(DNN)在各个领域的大量机器学习任务中取得了前所未有的成功。然而,在将DNN模型应用于诸如自动驾驶汽车和恶意软件检测等安全关键任务时,存在的一些反面例子给我们带来了很大的犹豫。这些对抗例子都是故意制作的实例,无论是出现在火车上还是测试阶段,都可以欺骗DNN模型,使其犯下严重错误。因此,人们致力于设计更健壮的模型来抵御对抗的例子,但它们通常会被新的更强大的攻击击垮。这种对抗性的攻击和防御之间的军备竞赛近年来受到越来越多的关注。**在本教程中,我们将全面概述对抗性攻击的前沿和进展,以及它们的对策。特别地,我们详细介绍了不同场景下的不同类型的攻击,包括闪避和中毒攻击,白盒和黑盒攻击。**我们还将讨论防御策略如何发展以对抗这些攻击,以及新的攻击如何出现以打破这些防御。此外,我们将讨论在其他数据域中的敌对攻击和防御,特别是在图结构数据中。然后介绍了Pytorch对抗式学习图书馆DeepRobust,旨在为该研究领域的发展搭建一个全面、易用的平台。最后,我们通过讨论对抗性攻击和防御的开放问题和挑战来总结本教程。通过我们的教程,我们的观众可以掌握对抗性攻击和防御之间的主要思想和关键方法。

目录内容: Part 1. Introduction about adversarial examples and robustness. Part 2. Algorithms for generating adversarial examples. Part 3. Defending algorithms and adaptive attacks. Part 4. Adversarial learning in Graph domain. Part 5. DeepRobust-- A Pytorch Repository for Adversarial learning.

成为VIP会员查看完整内容
0
36

本教程探索了两个研究领域,即永无休止的学习(NEL)和问题回答(QA)。NEL系统[2]是一种非常高级的计算机系统,它可以随着时间的推移而在解决任务方面变得更好。不同的NEL方法被提出并应用于不同的任务和领域,其结果还不能推广到每个领域,但鼓励我们不断解决如何构建能够利用NEL原则的计算机系统的问题。将NEL原则应用于ML模型并不总是那么简单。在本教程中,我们希望展示(通过实际示例和支持的理论、算法和模型)如何以NEL的方式对问题建模,并帮助KDD社区熟悉这些方法。

我们日常生活中出现了许多问答系统(如IBM Watson、亚马逊Alexa、苹果Siri、MS Cortana、谷歌Home等),以及最近发布的专注于开放领域问答的新的、更大的数据集,这些都促使人们对问答和能够执行问答的系统越来越感兴趣。但是,尽管过去几年取得了进步,开放领域的问题回答模型还不能取得与人类性能相媲美的结果。因此,开放域QA往往是用NEL方法建模的一个很好的候选对象。本教程旨在使与会者能够:

  • 更好地了解当前NEL和QA方面的最新技术。
  • 学习如何使用NEL方法建模ML问题。
  • 准备好跟随NEL-QA的想法,并提出新的方法来提高QA系统的性能。
成为VIP会员查看完整内容
0
28

本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来进行决策——而不是将环境视为一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及规划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

https://sites.google.com/view/mbrl-tutorial

近年来,强化学习领域取得了令人印象深刻的成果,但主要集中在无模型方法上。然而,社区认识到纯无模型方法的局限性,从高样本复杂性、需要对不安全的结果进行抽样,到稳定性和再现性问题。相比之下,尽管基于模型的方法在机器人、工程、认知和神经科学等领域具有很大的影响力,但在机器学习社区中,这些方法的开发还不够充分(但发展迅速)。它们提供了一系列独特的优势和挑战,以及互补的数学工具。本教程的目的是使基于模型的方法更被机器学习社区所认可和接受。鉴于最近基于模型的规划的成功应用,如AlphaGo,我们认为对这一主题的全面理解是非常及时的需求。在教程结束时,观众应该获得:

  • 数学背景,阅读并跟进相关文献。
  • 对所涉及的算法有直观的理解(并能够访问他们可以使用和试验的轻量级示例代码)。
  • 在应用基于模型的方法时所涉及到的权衡和挑战。
  • 对可以应用基于模型的推理的问题的多样性的认识。
  • 理解这些方法如何适应更广泛的强化学习和决策理论,以及与无模型方法的关系。
成为VIP会员查看完整内容
0
67

专注于识别和解决应用中出现的凸优化问题。凸集、函数和优化问题。凸分析基础。最小二乘、线性和二次规划、半定规划、极大极小、极值体积等问题。最优性条件,对偶理论,备选定理,及应用。内点法。应用于信号处理,统计和机器学习,控制和机械工程,数字和模拟电路设计,和金融。

  • 为学生提供识别应用中出现的凸型优化问题的工具和训练
  • 提出这类问题的基本理论,集中讨论对计算有用的结果
  • 让学生对这类问题的解决方法有全面的了解,并有一定的解题经验
  • 给学生在他们自己的研究工作或应用中使用这些方法所需的背景知识

http://web.stanford.edu/class/ee364a/index.html

成为VIP会员查看完整内容
0
50

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。AAAI2020关于可解释人工智能的Tutorial引起了人们极大的关注,这场Tutorial详细阐述了解释黑盒机器学习模型的术语概念以及相关方法,涵盖基础、工业应用、实际挑战和经验教训,是构建可解释模型的重要指南.

可解释AI:基础、工业应用、实际挑战和经验教训

地址https://xaitutorial2020.github.io/

Tutorial 目标 本教程的目的是为以下问题提供答案:

  • 什么是可解释的AI (XAI)

    • 什么是可解释的AI(简称XAI) ?,人工智能社区(机器学习、逻辑学、约束编程、诊断)的各种流有什么解释?解释的度量标准是什么?
  • 我们为什么要关心?

    • 为什么可解释的AI很重要?甚至在某些应用中至关重要?阐述人工智能系统的动机是什么?
  • 哪里是关键?

    • 在大规模部署人工智能系统时,真正需要解释的实际应用是什么?
  • 它是如何工作的?

    • 在计算机视觉和自然语言处理中,最先进的解释技术是什么?对于哪种数据格式、用例、应用程序、行业,什么有效,什么没有效?
  • 我们学到了什么?

    • 部署现有XAI系统的经验教训和局限性是什么?在向人类解释的过程中?
  • 下一个是什么?

    • 未来的发展方向是什么?

概述

人工智能的未来在于让人们能够与机器合作解决复杂的问题。与任何有效的协作一样,这需要良好的沟通、信任、清晰和理解。XAI(可解释的人工智能)旨在通过结合象征性人工智能和传统机器学习来解决这些挑战。多年来,所有不同的AI社区都在研究这个主题,它们有不同的定义、评估指标、动机和结果。

本教程简要介绍了XAI迄今为止的工作,并调查了AI社区在机器学习和符号化AI相关方法方面所取得的成果。我们将激发XAI在现实世界和大规模应用中的需求,同时展示最先进的技术和最佳实践。在本教程的第一部分,我们将介绍AI中解释的不同方面。然后,我们将本教程的重点放在两个特定的方法上: (i) XAI使用机器学习和 (ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们将详细介绍其方法、目前的技术状态以及下一步的限制和研究挑战。本教程的最后一部分概述了XAI的实际应用。

Freddy Lecue博士是加拿大蒙特利尔泰勒斯人工智能技术研究中心的首席人工智能科学家。他也是法国索菲亚安提波利斯温姆斯的INRIA研究所的研究员。在加入泰雷兹新成立的人工智能研发实验室之前,他曾于2016年至2018年在埃森哲爱尔兰实验室担任人工智能研发主管。在加入埃森哲之前,他是一名研究科学家,2011年至2016年在IBM research担任大规模推理系统的首席研究员,2008年至2011年在曼彻斯特大学(University of Manchester)担任研究员,2005年至2008年在Orange Labs担任研究工程师。

目录与内容

第一部分: 介绍和动机

人工智能解释的入门介绍。这将包括从理论和应用的角度描述和激发对可解释的人工智能技术的需求。在这一部分中,我们还总结了先决条件,并介绍了本教程其余部分所采用的不同角度。

第二部分: 人工智能的解释(不仅仅是机器学习!)

人工智能各个领域(优化、知识表示和推理、机器学习、搜索和约束优化、规划、自然语言处理、机器人和视觉)的解释概述,使每个人对解释的各种定义保持一致。还将讨论可解释性的评估。本教程将涵盖大多数定义,但只深入以下领域: (i) 可解释的机器学习,(ii) 可解释的AI与知识图和机器学习。

第三部分: 可解释的机器学习(从机器学习的角度)

在本节中,我们将处理可解释的机器学习管道的广泛问题。我们描述了机器学习社区中解释的概念,接着我们描述了一些流行的技术,主要是事后解释能力、设计解释能力、基于实例的解释、基于原型的解释和解释的评估。本节的核心是分析不同类别的黑盒问题,从黑盒模型解释到黑盒结果解释。

第四部分: 可解释的机器学习(从知识图谱的角度)

在本教程的这一节中,我们将讨论将基于图形的知识库与机器学习方法相结合的解释力。

第五部分: XAI工具的应用、经验教训和研究挑战

我们将回顾一些XAI开源和商业工具在实际应用中的例子。我们关注一些用例:i)解释自动列车的障碍检测;ii)具有内置解释功能的可解释航班延误预测系统;(三)基于知识图谱的语义推理,对企业项目的风险层进行预测和解释的大范围合同管理系统;iv)识别、解释和预测500多个城市大型组织员工异常费用报销的费用系统;v)搜索推荐系统说明;vi)解释销售预测;(七)贷款决策说明;viii)解释欺诈检测。

成为VIP会员查看完整内容
0
135
小贴士
相关论文
Spatio-Temporal Graph for Video Captioning with Knowledge Distillation
Boxiao Pan,Haoye Cai,De-An Huang,Kuan-Hui Lee,Adrien Gaidon,Ehsan Adeli,Juan Carlos Niebles
15+阅读 · 2020年3月31日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
4+阅读 · 2020年3月9日
Qingheng Zhang,Zequn Sun,Wei Hu,Muhao Chen,Lingbing Guo,Yuzhong Qu
30+阅读 · 2019年6月6日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
8+阅读 · 2018年12月10日
Joint Embedding of Meta-Path and Meta-Graph for Heterogeneous Information Networks
Lichao Sun,Lifang He,Zhipeng Huang,Bokai Cao,Congying Xia,Xiaokai Wei,Philip S. Yu
3+阅读 · 2018年9月11日
Michael Motro,Joydeep Ghosh
3+阅读 · 2018年5月21日
Badri Patro,Vinay P. Namboodiri
3+阅读 · 2018年4月3日
David Mascharka,Philip Tran,Ryan Soklaski,Arjun Majumdar
6+阅读 · 2018年3月14日
Dong Huk Park,Lisa Anne Hendricks,Zeynep Akata,Anna Rohrbach,Bernt Schiele,Trevor Darrell,Marcus Rohrbach
7+阅读 · 2018年2月15日
Quanshi Zhang,Ying Nian Wu,Song-Chun Zhu
14+阅读 · 2018年2月14日
Top