摘要: 机器学习(ML)中的可解释性对于高风险决策和故障排除是至关重要的。在这项工作中,我们提供了可解释性ML的基本原则,并消除了淡化这一关键话题的重要性的常见误解。我们还确定了可解释机器学习的10个技术挑战领域,并提供了每个问题的历史和背景。这些问题中有些是典型的重要问题,有些是最近几年才出现的问题。这些问题包括: (1)优化决策树等稀疏逻辑模型; (2)评分系统优化; (3)在广义加性模型中放置约束,以促进稀疏性和更好的可解释性; (4)现代案例推理,包括神经网络和匹配因果推理; (5)神经网络的完全监督解缠; (6)神经网络的完全或部分无监督解缠; (7)数据可视化降维; (8)能够结合物理和其他生成或因果约束的机器学习模型; (9)良好模型的“罗生门集”的刻画; (10)可解释强化学习。该综述适合作为对可解释机器学习感兴趣的统计学家和计算机科学家的起点。

引言

随着机器学习(ML)的广泛应用,可解释性在避免灾难性后果方面的重要性变得越来越明显。黑箱预测模型的定义是不可思议的,它已经导致严重的社会问题,深刻影响健康、自由、种族偏见和安全。可解释预测模型受到限制,因此其推理过程更容易被人类理解,也更容易进行故障排除和在实践中使用。人们普遍认为,可解释性是AI模型信任的关键因素(Wagstaff, 2012; Rudin and Wagstaff, 2014; Lo Piano, 2020; Ashoori and Weisz, 2019; Thiebes et al., 2020; Spiegelhalter, 2020; Brundage et al., 2020)。在这项综述中,我们提供了基本原理,以及内在可解释机器学习模型设计中的10个技术挑战。

让我们提供一些背景资料。黑盒机器学习模型是一个公式,它要么太复杂,任何人都无法理解,要么是专有的,以至于人们无法理解其内部工作原理。黑盒模型很难排除故障,这对于医疗数据来说尤其成问题。黑箱模型通常会在错误的原因下预测正确的答案(“聪明的汉斯”现象),导致在训练中表现优异,但在实践中表现不佳(Schramowski et al., 2020; Lapuschkin et al., 2019; O’Connor, 2021; Zech et al., 2018; Badgeley et al., 2019; Hamamoto et al., 2020)。黑盒模型还有许多其他问题。在刑事司法方面,个人可能会因为黑箱模型输入的印刷错误而遭受多年的额外监禁(Wexler, 2017),而设计不佳的空气质量专有模型在野火期间对公共安全造成了严重后果(McGough, 2018);这两种情况都很容易用可解释模型来避免。在数据的底层分布发生变化的情况下(称为域转移,这在实践中经常发生),如果用户不能实时地对模型进行故障排除,那么问题就会出现,而黑盒模型比可解释模型要困难得多。要确定一个黑箱模型在性别或种族群体方面是否公平,要比确定一个可解释的模型是否存在这种偏见要困难得多。在医学领域,黑盒模型将计算机辅助决策转化为自动决策,正是因为医生无法理解黑盒模型的推理过程。解释黑盒,而不是用可解释的模型替代它们,可能会通过提供误导性或错误的描述使问题变得更糟(Rudin, 2019; Laugel et al., 2019; Lakkaraju and Bastani, 2020),或者给黑匣子增加不必要的权力(Rudin and Radin, 2019)。显然,我们需要具有内在可解释性的创新机器学习模型。

本综述的主要部分概述了可解释性机器学习中一系列重要和基本的技术重大挑战。这些挑战既有现代的,也有古典的,有些挑战要比其他的困难得多。它们要么很难解决,要么很难正确地表述。虽然有许多关于模型部署的社会技术挑战(可能比技术挑战困难得多),人机交互挑战,以及健壮性和公平性如何与可解释性交互,这些话题可以留到以后讨论。我们从可解释机器学习中最经典和最规范的问题开始: 如何为表格数据建立稀疏模型,包括决策树(挑战#1)和评分系统(挑战#2)。然后我们研究了一个涉及加法模型的挑战(挑战#3),接着是另一个基于案例推理的挑战(挑战#4),这是可解释人工智能中的另一个经典主题。然后我们转向更奇特的问题,即在神经网络中有监督和无监督的概念解缠(挑战#5和#6)。回到经典问题,我们讨论降维(挑战#7)。然后,如何整合物理或因果约束(挑战#8)。挑战#9涉及到理解、探索和衡量罗生门精确预测模型集。挑战#10 讨论可解释强化学习。表1提供了一个指南,可以帮助用户将数据集与合适的可解释监督学习技术相匹配。我们将在挑战中涉及所有这些技术。

可解释机器学习原则

  • 原则1: 一个可解释的机器学习模型遵循一组特定领域的约束,使其(或其预测或数据)更容易被人类理解。这些约束会根据域的不同而有很大的不同。

  • 原则2:尽管有常见的修辞,但可解释的模型不一定能创造或促成信任——它们也可能导致不信任。它们只是让用户决定是否信任它们。换句话说,他们允许信任的决定,而不是信任本身。

  • 原则3:重要的是,不要假设一个人需要牺牲准确性来获得可解释性。事实上,可解释性往往会带来准确性,而不是相反。在机器学习中,可解释性和准确性通常是一个错误的二分法。

  • 原则4:作为整个数据科学过程的一部分,性能指标和可解释性指标都应该被反复地改进。

  • 原则5:对于高风险的决策,如果可能的话,应该使用可解释的模型,而不是“解释”的黑盒模型

在这项综述中,我们希望为读者提供一个途径进入可解释机器学习的重要主题。目前有关可解释和可解释AI的文献可能会让人非常困惑。参与这一领域研究的个体多样性不仅包括统计学家和计算机科学家,还包括法律专家、哲学家和研究生,其中许多人从未建立或部署过机器学习模型。人们很容易低估说服别人在实践中使用机器学习模型的难度,而可解释性是一个关键因素。过去几年的许多工作都贡献了新的术语,错误地将旧的可解释机器学习领域纳入了新的领域“XAI”,而且评论论文普遍未能真正区分解释黑箱和设计可解释模型的基本概念。因为有误导性的术语,标题为“可解释性(explainability)”的论文有时是关于“可解释性(interpretability)”,反之亦然,所以很难理解文献(即使是我们)。至少,我们希望介绍一些基本原则,涵盖该领域的几个重要领域,并展示它们彼此之间的关系和与实际问题的关系。显然,这是一个我们无法真正涵盖的巨大领域,但我们希望我们涵盖的不同领域和提出的问题可能对那些需要进入这个迷宫的人有用。

成为VIP会员查看完整内容
0
34

相关内容

可解释性是指一个人能够持续预测模型结果的程度。机器学习模型的可解释性越高,人们就越容易理解为什么做出某些决定或预测。

【导读】 知识图谱KGC是一个世界级会议,将有经验的实践者、技术领导者、前沿研究人员、学者和供应商聚集在一起,就知识图的主题进行为期两天的演讲、讨论和网络交流。KGC2021在5月3号到6号举行。来自加拿大CortAIx 首席人工智能科学家Freddy Lecue做了关于《知识图谱在可解释机器学习系统中应用》的报告,特别对可解释人工智能以及知识图谱在可解释机器学习中的作用进行了重点讲述,是非常好的学习资料。

知识图谱在可解释机器学习的应用

机器学习(ML),作为人工智能的关键驱动力之一,已经在许多行业显示出颠覆性的结果。在关键系统中应用ML(尤其是人工神经网络模型)最根本的问题之一,就是它无法为其决策提供依据。主要是因为常识知识或推理超出了ML系统的范围。我们展示了如何运用知识图谱来揭示更多人类可以理解的机器学习决策,并展示了一个框架,将ML和知识图谱结合起来,在识别4,233,000个资源的知识图谱中的任何一个类的对象时,展示出一个接近人的解释。

成为VIP会员查看完整内容
0
63

可解释人工智能(xAI)是近年来出现的一个有趣的问题。许多研究人员正试图从不同的角度和有趣的结果来处理这个问题。然而,我们在理解这些类型的模型方面仍处于起步阶段。在未来的几年里,深度学习模型的开放性将被讨论。在经典的人工智能方法中,我们经常遇到深度学习方法。这些深度学习方法可以根据数据集大小、数据集质量、用于特征提取的方法、用于深度学习模型的超参数集、激活函数和优化算法得出高效的结果。然而,目前的深度学习模型还存在一些重要的不足。这些基于人工神经网络的模型是黑盒模型,它概括传输给它的数据并从数据中学习。因此,输入和输出之间的关系是不可观察的。这是人工神经网络和深度学习模型的一个重要开放点。由于这些原因,有必要认真研究黑盒模型的可解释性和可解释性。

成为VIP会员查看完整内容
0
36

随着机器学习模型越来越多地用于在医疗保健和刑事司法等高风险环境中帮助决策者,确保决策者(最终用户)正确理解并信任这些模型的功能非常重要。我们将回顾了解模型的可解释性和explainability的概念,详细讨论不同类型的可说明的模型(例如,基于原型方法,稀疏线性模型、基于规则的技术,广义可加模型),事后解释(黑箱解释,包括反事实解释和显著性映射),并探索可解释性与因果性、调试和公平性之间的联系。可解释机器学习这些应用可以极大地受益于模型的可解释性,包括刑事司法和医疗保健。

成为VIP会员查看完整内容
0
92

【导读】机器学习大拿Christoph Molnar继推出《可解释机器学习》一著作,进来和他的学生们推出新书可解释机器学习的局限性《Limitations of Interpretable Machine Learning Methods》,阐述了可解释机器学习的概念、方法等,以及重要的是适用的边界,即可解释机器学习的局限,知道能与不能方能用好IML。本书共14章,是Christoph Molnar课题组最新成果,值得参阅。

本书解释了当前可解释机器学习方法的局限性。这些方法包括部分相关图(PDP)、累积局部效应(ALE)、排列特征重要性、单因素协变量缺失(LOCO)和局部可解释模型无关解释(LIME)。所有这些方法都可以用来解释训练过的机器学习模型的行为和预测。但在以下情况下,这些解释方法可能并不适用:

  • 如果模型对交互进行建模(例如,当使用随机森林时)

  • 如果特征之间有很强的相关性

  • 如果模型没有正确地建立因果关系模型

  • 解释方法参数设置不正确的

这本书是“可解释机器学习的局限性”研讨会的成果,该研讨会于2019年夏天在慕尼黑大学统计系举行。

成为VIP会员查看完整内容
0
101

摘要:近年来,在开发更准确、高效的医学和自然图像分割机器学习算法方面取得了重大进展。在这篇综述文章中,我们强调了机器学习算法在医学成像领域有效和准确分割中的重要作用。我们特别关注几个关键的研究涉及到应用机器学习方法在生物医学图像分割。我们回顾了经典的机器学习算法,如马尔可夫随机场、k均值聚类、随机森林等。尽管与深度学习技术相比,这种经典的学习模型往往精度较低,但它们通常更具有样本效率,结构也更简单。我们还回顾了不同的深度学习结构,如人工神经网络(ANNs)、卷积神经网络(CNNs)和递归神经网络(RNNs),并给出了这些学习模型在过去三年中获得的分割结果。我们强调每种机器学习范式的成功和局限性。此外,我们还讨论了与不同机器学习模型训练相关的几个挑战,并提出了一些解决这些挑战的启发方法。

成为VIP会员查看完整内容
0
26
小贴士
相关论文
Sebastian W. Ober,Laurence Aitchison
0+阅读 · 7月21日
Lulu Zhang,Zhi-Qin John Xu,Yaoyu Zhang
0+阅读 · 7月17日
Cynthia Rudin,Chaofan Chen,Zhi Chen,Haiyang Huang,Lesia Semenova,Chudi Zhong
6+阅读 · 7月10日
Yiwen Guo,Changshui Zhang
11+阅读 · 3月25日
Jindong Wang,Cuiling Lan,Chang Liu,Yidong Ouyang,Tao Qin
18+阅读 · 3月10日
Recent advances in deep learning theory
Fengxiang He,Dacheng Tao
37+阅读 · 2020年12月20日
Eugene A. Golikov
5+阅读 · 2020年12月10日
A Survey on Explainable Artificial Intelligence (XAI): Towards Medical XAI
Erico Tjoa,Cuntai Guan
3+阅读 · 2019年10月15日
Junchao Zheng,Courtney Napoles,Joel Tetreault,Kostiantyn Omelianchuk
3+阅读 · 2018年9月21日
The Matrix Calculus You Need For Deep Learning
Terence Parr,Jeremy Howard
6+阅读 · 2018年7月2日
Top