【伯克利PNAS最新论文】可解释机器学习的定义、方法和应用

2019 年 10 月 20 日 专知
【伯克利PNAS最新论文】可解释机器学习的定义、方法和应用

导读

机器学习模型在学习复杂模式方面取得了巨大的成功,这些模式使机器能够对未观察到的数据做出预测。除了使用模型进行预测外,解释模型所学内容的能力正受到越来越多的关注。然而,这种关注的增加导致了对可解释性概念的相当大的混淆。特别是,目前还不清楚所提出的各种解释方法是如何相互联系的,以及可以用什么共同的概念来评价这些方法。我们的目标是通过定义机器学习环境中的可解释性,并引入预测、描述和相关(PDR)框架来讨论解释性,从而解决这些问题。PDR框架为评估提供了3个主要的需求:预测准确性、描述准确性和相关性,以及相对于人类受众判断的相关性。此外,为了帮助管理大量的解释方法,我们将现有的技术分为基于模型的和特定的类别,包括稀疏性、模块化性和可模拟性。为了证明从业者如何使用PDR框架来评估和理解解释,我们提供了大量的实际例子。这些例子突出了人类观众在讨论可解释性时常常被低估的作用。最后,基于我们的框架工作,我们讨论了现有方法的局限性和未来工作的方向。我们希望这项工作将提供一个共同的词汇,使从业者和研究人员更容易地讨论和选择全面的解释方法。



机器学习(ML)由于能够准确地预测各种复杂的现象而受到广泛的关注。然而,人们越来越认识到,除了预测之外,ML模型还能够生成数据中包含的域关系的知识,通常称为解释。这些发现解释使用自己的权利,例如,医学(1)决策(2),和科学(3、4),以及审计的预测——自我应对监管压力等问题(5)和(6)公平。在这些领域,解释已经被证明有助于评估学习模型,提供信息修复模型(如果需要),并与领域专家(7)建立信任。


由于对可解释性缺乏一个明确的定义,因此,大量具有相应的大量输出的方法(如可视化、自然语言、数学方程)被标记为可解释。这导致了对可解释性概念的大量混淆。特别是,不清楚什么是解释,不同的方法之间存在什么共同的线索,以及如何为特定的问题/受众选择一种解释方法。


在本文中,我们试图解决这些问题。为此,我们首先定义机器学习环境中的可解释性,并将其置于通用数据科学生命周期中。这使我们能够区分两类主要的解释方法。


基于模型和事后分析。然后,我们介绍了预测、描述、相关(PDR)框架,由3个用于评估和构建解释的决策-组成:预测准确性、描述准确性和相关性,相关性由人类受众进行判断。使用这些术语,我们对现有的方法进行了广泛的分类,所有这些方法都基于真实的例子。在此过程中,我们为研究人员和实践者提供了一个用于评估和选择解释方法的通用词汇表。然后,我们展示了我们的工作如何使未来研究的开放问题得到更清晰的讨论。



参考链接:

https://www.pnas.org/content/early/2019/10/15/1900654116


完整PDF下载
请关注专知公众号(点击上方蓝色专知关注

后台回复“IML-DMA” 就可以获取《Definitions, Methods, and Applications in Interpretable Machine Learning》的完整版PDF下载链接~


-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,了解注册成为专知VIP会员
登录查看更多
50

相关内容

可解释性是指一个人能够持续预测模型结果的程度。机器学习模型的可解释性越高,人们就越容易理解为什么做出某些决定或预测。

随着机器学习模型越来越多地用于在医疗保健和刑事司法等高风险环境中帮助决策者,确保决策者(最终用户)正确理解并信任这些模型的功能非常重要。我们将回顾了解模型的可解释性和explainability的概念,详细讨论不同类型的可说明的模型(例如,基于原型方法,稀疏线性模型、基于规则的技术,广义可加模型),事后解释(黑箱解释,包括反事实解释和显著性映射),并探索可解释性与因果性、调试和公平性之间的联系。可解释机器学习这些应用可以极大地受益于模型的可解释性,包括刑事司法和医疗保健。

成为VIP会员查看完整内容
0
95

【导读】可解释性是当下机器学习研究特点之一。最近,来自复旦大学的研究生朱明超,将业界《Interpretable Machine Learning》(可解释机器学习)翻译成了中文。

可解释机器学习:打开黑盒之谜(238页书籍下载)

这本书最初是由德国慕尼黑大学博士Christoph Molnar耗时两年完成的,长达250页,是仅有的一本系统介绍可解释性机器学习的书籍。

这本书最初是由Christoph Molnar耗时两年完成的《Interpretable Machine Learning》,长达250页,在公开至今该书得到密切关注,这是在可解释性领域可以找到的仅有的一本书。

这本书由复旦大学朱明超完成它的翻译和校正工作,目前已经开源放到GitHub网页上,《可解释的机器学习》。作者Christoph Molnar 在其后也发到了推特上。

“可解释”是这本书的核心论题。作者Molnar认为,可解释性在机器学习甚至日常生活中都是相当重要的一个问题。建议机器学习从业者、数据科学家、统计学家和任何对使机器学习模型可解释的人阅读本书。

Molnar表示,虽然数据集与黑盒机器学习解决了很多问题,但这不是最好的使用姿势,现在模型本身代替了数据成为了信息的来源,但可解释性可以提取模型捕捉到的额外信息。当我们的日常生活中全都是机器和算法时,也需要可解释性来增加社会的接受度。毕竟要是连科学家都研究不透“黑盒”,怎样让普通人完全信任模型做出的决策呢?

这本书的重点是机器学习的可解释性。你将学习简单的、可解释的模型,如线性回归、决策树和决策规则等。后面几章重点介绍了解释黑盒模型的模型无关的一般方法,如特征重要性和累积局部效应,以及用 Shapley 值和 LIME 解释单个实例预测。

对各种解释方法进行了深入的解释和批判性的讨论。它们是如何工作的?优点和缺点是什么?如何解释它们的输出?本书将使你能够选择并正确应用最适合你的机器学习项目的解释方法。你阅读本书后,内化知识还使你能够更好地理解和评估arxiv.org上发表的有关可解释性的新论文。

这本书中用许多平实的语言,结合各类现实生活中的例子介绍了相关的概念,还配了参考链接可以进一步学习了解。

《可解释的机器学习》该书总共包含 7 章内容。章节目录如下:

  • 第一章:前言
  • 第二章:可解释性
  • 第三章:数据集
  • 第四章:可解释的模型
  • 第五章:模型无关方法
  • 第六章:基于样本的解释
  • 第七章:水晶球

传送门 GitHub:https://github.com/MingchaoZhu/InterpretableMLBook

成为VIP会员查看完整内容
0
234

【简介】近些年来,可解释的人工智能受到了越来越多的关注。随着人工智能模型变得越来越复杂和不透明,可解释性变得越来越重要。最近,研究人员一直在以用户为中心研究和处理可解释性,寻找可信任、可理解、明确的来源和上下文感知的可解释性。在这篇论文中,我们通过调研人工智能和相关领域中有关可解释性的文献,并利用过去的相关研究生成了一系列的可解释类型。我们定义每种类型,并提供一个示例问题,来阐述对这种解释方式的需求。我们相信,这一系列的解释类型将有助于未来的系统设计人员获得可靠的需求和确定各种需求的优先级,并进一步帮助生成能够更好地符合用户和情景需求的解释。

介绍

人工智能(AI)领域已经从单纯的基于符号和逻辑的专家系统发展到使用统计和逻辑推理技术的混合系统。可解释性人工智能的进展与人工智能方法的发展紧密相关,例如我们在早期的论文“可解释的知识支持系统的基础”中所涉及的类别,涵盖了专家系统、语义web方法、认知助手和机器学习方法。我们注意到这些方法主要处理可解释性的特定方面。例如,由专家系统产生的解释主要用于提供推理所需的痕迹、来源和理由。这些由认知助理提供的模型能够调整它们的形式以适应用户的需求,并且在机器学习和专家系统领域,解释为模型的功能提供了一种“直觉”。

成为VIP会员查看完整内容
0
65

知识图谱补全的目的是预测知识图谱中实体之间的缺失关系。虽然已经提出了许多不同的方法,但缺乏一个统一的框架产生SOTA的结果。在这里,我们开发了PathCon,这是一种知识图谱补全方法,它利用四个新颖的见解来超越现有的方法。PathCon通过以下方法预测一对实体之间的关系: (1)通过捕获实体附近的关系类型,并通过基于边缘的消息传递模式建模,来考虑每个实体的关系上下文; (2)考虑获取两个实体之间所有路径的关系路径; (3)通过可学习的注意力机制,自适应地整合关系上下文和关系路径。重要的是,与传统的基于节点的表示不同,PathCon仅使用关系类型表示上下文和路径,这使得它适用于归纳设置。在知识图谱基准上的实验结果以及我们新提出的数据集表明,PathCon在很大程度上优于最先进的知识图谱补全方法。最后,PathCon能够通过识别对给定的预测关系很重要的上下文和路径关系来提供可解释的说明。

成为VIP会员查看完整内容
0
77

论文题目: Definitions, methods, and applications in interpretable machine learning

论文摘要:

机器学习模型在学习复杂模式方面取得了巨大的成功,这些模式使机器能够对未观察到的数据做出预测。除了使用模型进行预测外,解释模型所学内容的能力正受到越来越多的关注。然而,这种关注的增加导致了对可解释性概念的相当大的混淆。特别是,目前还不清楚所提出的各种解释方法是如何相互联系的,以及可以用什么共同的概念来评价这些方法。我们的目标是通过定义机器学习环境中的可解释性,并引入预测、描述和相关(PDR)框架来讨论解释性,从而解决这些问题。PDR框架为评估提供了3个主要的需求:预测准确性、描述准确性和相关性,以及相对于人类受众判断的相关性。此外,为了帮助管理大量的解释方法,我们将现有的技术分为基于模型的和特定的类别,包括稀疏性、模块化性和可模拟性。为了证明从业者如何使用PDR框架来评估和理解解释,我们提供了大量的实际例子。这些例子突出了人类观众在讨论可解释性时常常被低估的作用。最后,基于我们的框架工作,我们讨论了现有方法的局限性和未来工作的方向。我们希望这项工作将提供一个共同的词汇,使从业者和研究人员更容易地讨论和选择全面的解释方法。

论文作者:

W. James Murdoch是加州大学伯克利分校研究生,研究兴趣为可解释性,机器学习,自然语言处理和因果推理。

Chandan Singh在伯克利攻读博士学位,研究计算系统,研究范围是机器学习、可解释性、计算神经科学。

成为VIP会员查看完整内容
0
34
小贴士
相关论文
Menghan Wang,Yujie Lin,Guli Lin,Keping Yang,Xiao-ming Wu
8+阅读 · 2020年6月1日
Davide Abati,Jakub Tomczak,Tijmen Blankevoort,Simone Calderara,Rita Cucchiara,Babak Ehteshami Bejnordi
5+阅读 · 2020年3月31日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation
Hoyeop Lee,Jinbae Im,Seongwon Jang,Hyunsouk Cho,Sehee Chung
32+阅读 · 2019年7月31日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
19+阅读 · 2018年12月25日
Physical Primitive Decomposition
Zhijian Liu,William T. Freeman,Joshua B. Tenenbaum,Jiajun Wu
3+阅读 · 2018年9月13日
Compositional GAN: Learning Conditional Image Composition
Samaneh Azadi,Deepak Pathak,Sayna Ebrahimi,Trevor Darrell
30+阅读 · 2018年7月19日
Tongtao Zhang,Heng Ji
13+阅读 · 2018年4月21日
Balazs Pejo,Qiang Tang
4+阅读 · 2018年2月28日
Pingping Zhang,Luyao Wang,Dong Wang,Huchuan Lu,Chunhua Shen
5+阅读 · 2018年2月20日
Top