随着机器学习黑盒越来越多地部署在医疗保健和刑事司法等领域,人们越来越重视构建工具和技术,以事后方式解释这些黑盒。这些解释正被领域专家用来诊断系统性错误和黑盒的潜在偏见。然而,最近的研究揭示了流行的事后解释技术的弱点。在本教程中,我将简要概述事后解释方法,特别强调特征归因方法,如LIME和SHAP。然后,我将讨论最近的研究,这些研究表明,这些方法是脆弱的,不稳定的,并容易受到各种对抗性攻击。最后,我将提出两种解决方案,以解决这些方法的一些漏洞:(I)一个基于对抗性训练的通用框架,旨在使事后解释更稳定,更鲁棒,以应对底层数据的变化,(ii) 贝叶斯框架,捕获与事后解释相关的不确定性,从而允许我们生成满足用户指定的置信水平的可靠解释。总的来说,本教程将提供可解释机器学习这一新兴领域的最新技术的概述。

https://www.chilconference.org/tutorial_T04.html

成为VIP会员查看完整内容
0
45

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要: 机器学习(ML)中的可解释性对于高风险决策和故障排除是至关重要的。在这项工作中,我们提供了可解释性ML的基本原则,并消除了淡化这一关键话题的重要性的常见误解。我们还确定了可解释机器学习的10个技术挑战领域,并提供了每个问题的历史和背景。这些问题中有些是典型的重要问题,有些是最近几年才出现的问题。这些问题包括: (1)优化决策树等稀疏逻辑模型; (2)评分系统优化; (3)在广义加性模型中放置约束,以促进稀疏性和更好的可解释性; (4)现代案例推理,包括神经网络和匹配因果推理; (5)神经网络的完全监督解缠; (6)神经网络的完全或部分无监督解缠; (7)数据可视化降维; (8)能够结合物理和其他生成或因果约束的机器学习模型; (9)良好模型的“罗生门集”的刻画; (10)可解释强化学习。该综述适合作为对可解释机器学习感兴趣的统计学家和计算机科学家的起点。

引言

随着机器学习(ML)的广泛应用,可解释性在避免灾难性后果方面的重要性变得越来越明显。黑箱预测模型的定义是不可思议的,它已经导致严重的社会问题,深刻影响健康、自由、种族偏见和安全。可解释预测模型受到限制,因此其推理过程更容易被人类理解,也更容易进行故障排除和在实践中使用。人们普遍认为,可解释性是AI模型信任的关键因素(Wagstaff, 2012; Rudin and Wagstaff, 2014; Lo Piano, 2020; Ashoori and Weisz, 2019; Thiebes et al., 2020; Spiegelhalter, 2020; Brundage et al., 2020)。在这项综述中,我们提供了基本原理,以及内在可解释机器学习模型设计中的10个技术挑战。

让我们提供一些背景资料。黑盒机器学习模型是一个公式,它要么太复杂,任何人都无法理解,要么是专有的,以至于人们无法理解其内部工作原理。黑盒模型很难排除故障,这对于医疗数据来说尤其成问题。黑箱模型通常会在错误的原因下预测正确的答案(“聪明的汉斯”现象),导致在训练中表现优异,但在实践中表现不佳(Schramowski et al., 2020; Lapuschkin et al., 2019; O’Connor, 2021; Zech et al., 2018; Badgeley et al., 2019; Hamamoto et al., 2020)。黑盒模型还有许多其他问题。在刑事司法方面,个人可能会因为黑箱模型输入的印刷错误而遭受多年的额外监禁(Wexler, 2017),而设计不佳的空气质量专有模型在野火期间对公共安全造成了严重后果(McGough, 2018);这两种情况都很容易用可解释模型来避免。在数据的底层分布发生变化的情况下(称为域转移,这在实践中经常发生),如果用户不能实时地对模型进行故障排除,那么问题就会出现,而黑盒模型比可解释模型要困难得多。要确定一个黑箱模型在性别或种族群体方面是否公平,要比确定一个可解释的模型是否存在这种偏见要困难得多。在医学领域,黑盒模型将计算机辅助决策转化为自动决策,正是因为医生无法理解黑盒模型的推理过程。解释黑盒,而不是用可解释的模型替代它们,可能会通过提供误导性或错误的描述使问题变得更糟(Rudin, 2019; Laugel et al., 2019; Lakkaraju and Bastani, 2020),或者给黑匣子增加不必要的权力(Rudin and Radin, 2019)。显然,我们需要具有内在可解释性的创新机器学习模型。

本综述的主要部分概述了可解释性机器学习中一系列重要和基本的技术重大挑战。这些挑战既有现代的,也有古典的,有些挑战要比其他的困难得多。它们要么很难解决,要么很难正确地表述。虽然有许多关于模型部署的社会技术挑战(可能比技术挑战困难得多),人机交互挑战,以及健壮性和公平性如何与可解释性交互,这些话题可以留到以后讨论。我们从可解释机器学习中最经典和最规范的问题开始: 如何为表格数据建立稀疏模型,包括决策树(挑战#1)和评分系统(挑战#2)。然后我们研究了一个涉及加法模型的挑战(挑战#3),接着是另一个基于案例推理的挑战(挑战#4),这是可解释人工智能中的另一个经典主题。然后我们转向更奇特的问题,即在神经网络中有监督和无监督的概念解缠(挑战#5和#6)。回到经典问题,我们讨论降维(挑战#7)。然后,如何整合物理或因果约束(挑战#8)。挑战#9涉及到理解、探索和衡量罗生门精确预测模型集。挑战#10 讨论可解释强化学习。表1提供了一个指南,可以帮助用户将数据集与合适的可解释监督学习技术相匹配。我们将在挑战中涉及所有这些技术。

可解释机器学习原则

  • 原则1: 一个可解释的机器学习模型遵循一组特定领域的约束,使其(或其预测或数据)更容易被人类理解。这些约束会根据域的不同而有很大的不同。

  • 原则2:尽管有常见的修辞,但可解释的模型不一定能创造或促成信任——它们也可能导致不信任。它们只是让用户决定是否信任它们。换句话说,他们允许信任的决定,而不是信任本身。

  • 原则3:重要的是,不要假设一个人需要牺牲准确性来获得可解释性。事实上,可解释性往往会带来准确性,而不是相反。在机器学习中,可解释性和准确性通常是一个错误的二分法。

  • 原则4:作为整个数据科学过程的一部分,性能指标和可解释性指标都应该被反复地改进。

  • 原则5:对于高风险的决策,如果可能的话,应该使用可解释的模型,而不是“解释”的黑盒模型

在这项综述中,我们希望为读者提供一个途径进入可解释机器学习的重要主题。目前有关可解释和可解释AI的文献可能会让人非常困惑。参与这一领域研究的个体多样性不仅包括统计学家和计算机科学家,还包括法律专家、哲学家和研究生,其中许多人从未建立或部署过机器学习模型。人们很容易低估说服别人在实践中使用机器学习模型的难度,而可解释性是一个关键因素。过去几年的许多工作都贡献了新的术语,错误地将旧的可解释机器学习领域纳入了新的领域“XAI”,而且评论论文普遍未能真正区分解释黑箱和设计可解释模型的基本概念。因为有误导性的术语,标题为“可解释性(explainability)”的论文有时是关于“可解释性(interpretability)”,反之亦然,所以很难理解文献(即使是我们)。至少,我们希望介绍一些基本原则,涵盖该领域的几个重要领域,并展示它们彼此之间的关系和与实际问题的关系。显然,这是一个我们无法真正涵盖的巨大领域,但我们希望我们涵盖的不同领域和提出的问题可能对那些需要进入这个迷宫的人有用。

成为VIP会员查看完整内容
0
49

【导读】 知识图谱KGC是一个世界级会议,将有经验的实践者、技术领导者、前沿研究人员、学者和供应商聚集在一起,就知识图的主题进行为期两天的演讲、讨论和网络交流。KGC2021在5月3号到6号举行。来自加拿大CortAIx 首席人工智能科学家Freddy Lecue做了关于《知识图谱在可解释机器学习系统中应用》的报告,特别对可解释人工智能以及知识图谱在可解释机器学习中的作用进行了重点讲述,是非常好的学习资料。

知识图谱在可解释机器学习的应用

机器学习(ML),作为人工智能的关键驱动力之一,已经在许多行业显示出颠覆性的结果。在关键系统中应用ML(尤其是人工神经网络模型)最根本的问题之一,就是它无法为其决策提供依据。主要是因为常识知识或推理超出了ML系统的范围。我们展示了如何运用知识图谱来揭示更多人类可以理解的机器学习决策,并展示了一个框架,将ML和知识图谱结合起来,在识别4,233,000个资源的知识图谱中的任何一个类的对象时,展示出一个接近人的解释。

成为VIP会员查看完整内容
0
69

深度学习在实践中的显著成功,从理论的角度揭示了一些重大的惊喜。特别是,简单的梯度方法很容易找到非凸优化问题的接近最优的解决方案,尽管在没有任何明确的努力控制模型复杂性的情况下,这些方法提供了近乎完美的训练数据,这些方法显示了优秀的预测精度。我们推测这些现象背后有特定的原理: 过度参数化允许梯度方法找到插值解,这些方法隐含地施加正则化,过度参数化导致良性过拟合,也就是说,尽管过拟合训练数据,但仍能准确预测。在这篇文章中,我们调查了统计学习理论的最新进展,它提供了在更简单的设置中说明这些原则的例子。我们首先回顾经典的一致收敛结果以及为什么它们不能解释深度学习方法的行为方面。我们在简单的设置中给出隐式正则化的例子,在这些例子中,梯度方法可以得到完美匹配训练数据的最小范数函数。然后我们回顾显示良性过拟合的预测方法,关注二次损失的回归问题。对于这些方法,我们可以将预测规则分解为一个用于预测的简单组件和一个用于过拟合的尖状组件,但在良好的设置下,不会损害预测精度。我们特别关注神经网络的线性区域,其中网络可以用一个线性模型来近似。在这种情况下,我们证明了梯度流的成功,并考虑了双层网络的良性过拟合,给出了精确的渐近分析,精确地证明了过参数化的影响。最后,我们强调了在将这些见解扩展到现实的深度学习设置中出现的关键挑战。

https://www.zhuanzhi.ai/paper/324cdbb68665c1675a05bc147210d8c8

成为VIP会员查看完整内容
0
42

随着广泛的应用,人工智能(AI)催生了一系列与人工智能相关的研究活动。其中一个领域就是可解释的人工智能。它是值得信赖的人工智能系统的重要组成部分。本文概述了可解释的人工智能方法,描述了事后人工智能系统(为先前构建的常规人工智能系统提供解释)和事后人工智能系统(从一开始就配置为提供解释)。解释的形式多种多样:基于特征的解释、基于说明性训练样本的解释、基于嵌入式表示的解释、基于热度图的解释。也有结合了神经网络模型和图模型的概率解释。可解释人工智能与许多人工智能研究前沿领域密切相关,如神经符号人工智能和机器教学

成为VIP会员查看完整内容
0
69

人工智能(AI)在决定我们日常体验方面扮演着越来越重要的角色。人工智能的应用越来越多地不再局限于搜索和推荐系统,如网络搜索、电影和产品推荐,但人工智能也被用于对个人、企业和社会至关重要的决策和流程。在招聘、借贷、刑事司法、医疗保健和教育等领域,基于web的人工智能解决方案对个人和专业的影响是深远的。

在人工智能系统的开发和部署中,有许多因素发挥着作用,它们可能会表现出不同的、有时是有害的行为。例如,训练数据往往来自社会和现实世界,因此它可能反映了社会对少数民族和弱势群体的偏见和歧视。例如,少数族裔与多数族裔在类似行为上面临更高的逮捕率,所以在没有补偿的情况下构建一个人工智能系统可能只会加剧这种偏见。

上述问题凸显出需要监管、最佳实践和实用工具,以帮助数据科学家和ML开发人员构建安全、隐私保护、透明、可解释、公平和负责的人工智能系统,以避免可能对个人、企业和社会有害的意外后果和合规挑战。

在这些原则中,模型的透明度和可解释性是在需要可靠性和安全性的高风险领域(如医疗保健和自动化运输)建立信任和采用人工智能系统的先决条件,以及具有重大经济影响的关键工业应用(如预测性维护、自然资源勘探和气候变化建模)。除了可解释性,越来越多的利益相关者质疑他们的人工智能系统的公平性,因为有很多例子可以说明不考虑公平性的后果,从人脸识别对白人男性的效果明显优于有色女性,到歧视特定群体的自动招聘系统。通过整合工具来确保模型的透明度和公平性,可以让数据科学家、工程师和模型用户更容易调试模型,并实现确保AI系统的公平性、可靠性和安全性等重要目标。

最后,人工智能产品通常由ML模型驱动,这些模型根据敏感用户数据进行训练。给定足够的复杂性——无论是从参数的数量[例如。或者用户级个性化——,该模型可以对用户的私人信息进行编码。此外,通常需要在ML生命周期的不同阶段确保用户隐私,并保护不同类型的不良行为者和威胁场景,需要隐私保护AI方法。

在本教程中,我们将概述负责任的人工智能,强调人工智能中模型的可解释性、公平性和隐私性,关键的法规/法律,以及提供关于基于web的人工智能/ML系统的理解的技术/工具。然后,我们将关注可解释性、公平评估/不公平缓解和隐私技术在行业中的应用,其中我们提出了有效使用这些技术的实际挑战/指导方针,以及从部署几个web规模的机器学习和数据挖掘应用模型中获得的经验教训。我们将介绍不同公司的案例研究,包括搜索和推荐系统、招聘、销售、借贷和欺诈检测等应用领域。我们将强调,与负责任的人工智能相关的主题是社会技术的,也就是说,它们是社会和技术交叉的主题。潜在的挑战不能由技术人员单独解决;我们需要与所有关键的利益相关者一起工作——比如技术的客户、受技术影响的人,以及具有道德和相关学科背景的人——并在设计这些系统时考虑他们的输入。最后,基于我们在行业中的经验,我们将为数据挖掘/机器学习社区确定开放的问题和研究方向。

https://sites.google.com/view/ResponsibleAITutorial

成为VIP会员查看完整内容
0
61

现代机器学习(ML)的核心是高维函数的近似。传统的方法,如用分段多项式、小波或其他固定基函数的线性组合进行逼近,都面临着维数(CoD)的问题。我们将提供ML的数学观点,集中在CoD的问题。我们将讨论三个主要问题: 现代ML模型的近似理论和误差分析,梯度下降算法的动力学和定性行为,以及从连续观点的ML。我们将看到,在连续的水平上,ML可以被表示为一系列合理的漂亮的变分和类似于方程的问题。现代的ML模型/算法,如随机特征模型和两层残差神经网络模型,都可以看作是这类连续问题的特殊离散化。我们还将提供一个适合分析高维ML模型和算法的框架,并提供无CoD的结果。最后,我们将讨论现代ML成功的基本原因,以及仍有待理解的微妙和神秘之处。

https://www.datasig.ac.uk/event/weiman-e

成为VIP会员查看完整内容
0
63

不确定性的概念在机器学习中是非常重要的,并且构成了现代机器学习方法论的一个关键元素。近年来,由于机器学习与实际应用的相关性越来越大,它的重要性也越来越大,其中许多应用都伴随着安全要求。在这方面,机器学习学者们发现了新的问题和挑战,需要新的方法发展。事实上,长期以来,不确定性几乎被视为标准概率和概率预测的同义词,而最近的研究已经超越了传统的方法,也利用了更一般的形式主义和不确定性计算。例如,不确定性的不同来源和类型之间的区别,例如任意不确定性和认知不确定性,在许多机器学习应用中被证明是有用的。讲习班将特别注意这方面的最新发展。

综述论文:

不确定性的概念在机器学习中是非常重要的,并且构成了机器学习方法的一个关键元素。按照统计传统,不确定性长期以来几乎被视为标准概率和概率预测的同义词。然而,由于机器学习与实际应用和安全要求等相关问题的相关性稳步上升,机器学习学者最近发现了新的问题和挑战,而这些问题可能需要新的方法发展。特别地,这包括区分(至少)两种不同类型的不确定性的重要性,通常被称为任意的和认知的。在这篇论文中,我们提供了机器学习中的不确定性主题的介绍,以及到目前为止在处理一般不确定性方面的尝试的概述,并特别将这种区别形式化。

https://www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

成为VIP会员查看完整内容
0
62

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
139

生成式模型是以图模型和概率编程语言中的概率推理的重要范式。神经网络对这些模型的参数化和基于梯度的随机优化技术的进步使得高维数据的可扩展建模成为可能。

本教程的前半部分将全面回顾深度生成模型的主要家族,包括生成对抗网络、变分自编码器、标准化流和自回归模型。对于每一个模型,我们将讨论概率公式,学习算法,以及与其他模型的关系。本教程的后半部分将演示在科学发现中使用深度生成模型的方法,例如材料和药物发现、压缩感知等等。最后,我们将讨论该领域目前的挑战和未来研究的前景。

https://dl4sci-school.lbl.gov/agenda

成为VIP会员查看完整内容
0
26

Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成为VIP会员查看完整内容
0
71
小贴士
相关VIP内容
专知会员服务
49+阅读 · 7月19日
专知会员服务
69+阅读 · 3月17日
专知会员服务
63+阅读 · 2020年11月6日
专知会员服务
62+阅读 · 2020年10月18日
专知会员服务
139+阅读 · 2020年8月26日
(ICML 2020 Tutorial)贝叶斯深度学习与概率模型构建,134页ppt
相关论文
Li Hu,Peng Zhang,Bang Zhang,Pan Pan,Yinghui Xu,Rong Jin
3+阅读 · 4月9日
Jie Hu,Liujuan Cao,Qixiang Ye,Tong Tong,ShengChuan Zhang,Ke Li,Feiyue Huang,Rongrong Ji,Ling Shao
5+阅读 · 3月24日
Hierarchical Graph Capsule Network
Jinyu Yang,Peilin Zhao,Yu Rong,Chaochao Yan,Chunyuan Li,Hehuan Ma,Junzhou Huang
15+阅读 · 2020年12月16日
Exploiting Diverse Characteristics and Adversarial Ambivalence for Domain Adaptive Segmentation
Bowen Cai,Huan Fu,Rongfei Jia,Binqiang Zhao,Hua Li,Yinghui Xu
9+阅读 · 2020年12月10日
Yingtian Zou,Jiashi Feng
6+阅读 · 2019年4月19日
Diversity-Promoting Deep Reinforcement Learning for Interactive Recommendation
Yong Liu,Yinan Zhang,Qiong Wu,Chunyan Miao,Lizhen Cui,Binqiang Zhao,Yin Zhao,Lu Guan
3+阅读 · 2019年3月19日
Labeling Panoramas with Spherical Hourglass Networks
Carlos Esteves,Kostas Daniilidis,Ameesh Makadia
3+阅读 · 2018年9月6日
Chenrui Zhang,Yuxin Peng
3+阅读 · 2018年4月26日
Nelson Nauata,Jonathan Smith,Greg Mori
6+阅读 · 2018年1月21日
Xiangyu Zhao,Liang Zhang,Zhuoye Ding,Dawei Yin,Yihong Zhao,Jiliang Tang
12+阅读 · 2018年1月5日
Top