事后解释VS自解释,牛津CS博士小姐姐134页毕业论文探索神经网络内部构造

10 月 18 日 机器之心
事后解释VS自解释,牛津CS博士小姐姐134页毕业论文探索神经网络内部构造

机器之心报道

编辑:小舟、杜伟
如何解释深度神经网络对于人工智能的发展具有重要的作用,也吸引了越来越多学界和业界人士的注意。在这篇长达 134 页的博士论文中,一位来自牛津大学的计算机科学博士生对这一课题进行了深入的探讨,带我们走进深度神经网络的世界。
近年来,深度神经网络正在计算机视觉、自然语言处理和语音识别等多种领域发挥着重要作用,推动了人工智能的发展。但是,深度神经网络仍存在一些局限性,例如这些模型的决策过程通常无法向用户解释。

但同时,在医疗、金融、法律等各个领域,了解人工智能系统决策制定背后的原因至关重要。因此,研究人员已经探索出了解释神经模型的一些方向。

10 月 6 日,牛津大学计算机科学博士生、且继续攻读XAI博士后的 Oana Camburu 在推特上公开了自己的博士论文《解释深度神经网络》(Explaining Deep Neural Networks),详尽全面地介绍了不同类型的深度神经网络解释方法,并表示「社区中该领域的研究正在增长,非常高兴自己进行了相对深入的挖掘。」



在这篇博士论文中,作者深入探究了解释深度神经网络的两个主要方向。第一个方向包括基于特征的事后(post-hoc)解释方法,即旨在解释已经训练和固定模型的方法,并提供输入特征方面的解释,如文本 token 和图像超像素。第二个方向包括生成自然语言解释的自解释(self-explanatory)神经模型,即具有内置模块且能够生成模型预测解释的模型。


这篇博士论文具有以下几方面的贡献:

  • 作者揭示了仅使用输入特征来解释模型具有一定的难度。她指出,对于某些模型和实例而言,存在着不止一种 ground-truth 特征解释,所以一种解释(或解释器)的真实性取决于实践中偏好的 ground-truth 解释类型;

  • 作者提出了一种自动验证真实性的框架,借助于这个框架,基于特征的 post-hoc 解释方法可以描述它们想要解释的模型的决策制定过程。这种框架是通用的,并可以在不同任务和域上实例化,以提供用于测试基于特征事后解释方法的完整性测试;

  • 为了探索生成为自身生成自然语言解释的自解释神经模型方向,作者在斯坦福自然语言理解推理(Stanford Natural Language Inference, SNLI)数据集的基础上创建了一个包含约 570K 个人类书面自然语言解释的大型数据集,并将这种解释增强的数据集称为 e-SNLI;

  • 作者证明了当前自解释模型在为预测生成自然语言解释时,会产生不一致的解释。为此,她提出了一种简单却有效的对抗框架,从而防止产生不一致的自然语言解释。


机器之心对该论文的核心内容进行了简要介绍,感兴趣的读者可以阅读原论文。

论文地址:https://arxiv.org/pdf/2010.01496.pdf

解释深度神经网络的重要性

研究表明,神经网络成功的关键因素是其具备深度这一能力,即成功的神经网络可以由大量的非线性函数组成。直观地讲,多层非线性函数使网络可以学习原始数据和预测之间各种抽象级别的特征。但是,这些都是以可解释性为代价的。这是因为为大量非线性函数的复杂组成提供人类可理解的解释是一个未能解答的困难问题。

因此,在诸如健康诊断、信用额度或刑事司法等对安全至关重要的应用中,人们可能仍然更喜欢采用准确性较低但人类可解释的模型,例如线性回归和决策树。

在 MNIST 数据集上训练的 4 层深度的软决策树可视化图。来源:Nicholas Frosst 和 Geoffrey Hinton 的 2017 论文《Distilling a Neural Network Into a Soft Decision Tree》。

对于神经网络决策过程的质疑是有道理的,因为已经有研究表明,看似非常准确的此类系统可以轻松地依靠数据集中的伪相关性(也称为统计偏差或伪影)来提供正确答案。研究表明,在实践中使用这种依赖伪相关性的模型非常危险。

黑盒系统中不可信的另一个原因是这些系统自身可能存在着一些主观偏见,例如种族主义、性别歧视或者其他类型的歧视或主观性。

此外,大量的对抗攻击表明,这些看似高度准确的神经网络具有脆弱性。神经网络中的对抗性攻击在自然语言处理和语音识别等其他领域也具有相当高的成功率。 对抗性攻击揭示的深度神经网络的脆弱性使人们对这些方法的潜在学习决策过程产生了怀疑。

因此,为了使神经网络系统赢得广泛的公众信任,并确保这些系统确实是公平的,必须为这些模型的决策给出人类可理解的解释。

事后解释(Post-hoc) VS 自解释(Self-explanatory)方法

越来越多的多样化研究不遗余力地解释深度神经网络,这些方法在很多方面都存在着很大差异。 事后解释和自解释时当前最主要的两种神经网络解释方法。

事后解释是旨在解释已经训练和固定的目标模型的独立方法。例如 LIME(Ribeiro 等人于 2016 年提出)就是一种事后解释方法,它通过在模型预测的邻域上学习可解释的模型(如线性回归)来解释目标模型的预测。如前文所述,这种解释方法针对的是文本 token 和图像超像素,即所谓的基于特征。

Shapley 解释器和最小充分子集(minimal sufficient subset)解释器分别提供了至少两种 ground-truth 基于特征的解释。

目前,基于特征的事后解释方法比较流行,也不容易出现解释偏见,但是真实性需要验证。这就引出了第二种方法:自解释。

自解释模型是目标模型,这些模型将解释生成模块集成到自身架构中,以便它们为自己的预测提供解释。从较高的层面而言,自解释模型具有两个相互关联的模块:预测器模块,即模型中专门用于预测手头任务的部分;解释生成器模块,作为模型的一部分,它为预测器所做的预测提供解释。此外,自解释模型不是必须对解释做出监督。

作者使用一个解释生成器(explanation generator)增强了 BiLSTM-Max 模型。具体而言,作者将特征向量 f 连接到单层 LSTM 解码器,既作为一种初始状态,又在每个时间步上级联到词嵌入输入。由此创建了一个新的模型 BiLSTM-Max-PredExpl,具体结构如下图 5.2 所示:


两种解释方法各有利弊

研究人员在实践中需要根据具体情况来选择适当的解释方法。通常而言,自解释模型的预测器和解释生成器是一起训练的,解释生成器的存在会影响预测器的训练。而事后解释方法则不同,它对已训练和固定目标模型做出的所有预测都不会造成影响。因此,当带有额外解释生成器的增强型神经网络的任务性能显著低于仅训练用于执行任务的神经网络时,研究人员可能更倾向于使用事后解释方法的模型。

另一方面可能出现如下情况,利用解释生成器增强神经网络并联合训练它们,可能会促使手头任务的性能更好。这可能是由于模型架构中存在额外指导,或者存在对解释的额外监督。

举例而言,在情感分析任务中,Lei 等人(2016 年)获得的结果是,在不对解释进行任何监督的情况下,添加中间解释生成器模块不会削弱性能。又如,在常识问题解答的任务上,Rajani 等人(2019 年)通过带有监督的自解释模型,实现了比仅训练用于执行任务的神经网络更好的性能。

因此,事后解释和自解释这两类方法各有利弊。

作者简介


这篇论文的作者是牛津大学计算机科学博士生 Oana-Maria Camburu,她来自罗马尼亚。Oana-Maria Camburu 曾获国际数学奥林匹克竞赛(IMO)银牌,目前的主要研究方向是机器学习。此外,她的论文曾被 ACL、EMNLP 等人工智能顶会收录。

以下是这篇博士论文的章节目录:


从算法到应用,入门声纹技术。

10月19日,一讲:音频基础与声纹识别。谷歌资深软件工程师、声纹识别与语言识别团队负责人王泉老师将介绍声纹识别技术相关基础知识,包括发展历程、听觉感知和音频处理相关基本概念与方法、声纹领域最核心的应用声纹识别等。

添加机器之心小助手(syncedai5),备注「声纹」,进群一起看直播。


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com


登录查看更多
0

相关内容

【导读】牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络 (Explaining Deep Neural Networks)》,系统性介绍了深度神经网络可解释性方面的工作,值得关注。

作者介绍:

Oana-Maria Camburu,来自罗马尼亚,目前是牛津大学的博士生,主修机器学习、人工智能等方向。

Explaining Deep Neural Networks

深度神经网络在计算机视觉、自然语言处理和语音识别等不同领域取得了革命性的成功,因此越来越受欢迎。然而,这些模型的决策过程通常是无法向用户解释的。在各种领域,如医疗保健、金融或法律,了解人工智能系统所做决策背后的原因至关重要。因此,最近研究了几个解释神经模型的方向。

在这篇论文中,我研究了解释深层神经网络的两个主要方向。第一个方向由基于特征的事后解释方法组成,也就是说,这些方法旨在解释一个已经训练过的固定模型(事后解释),并提供输入特征方面的解释,例如文本标记和图像的超级像素(基于特征的)。第二个方向由生成自然语言解释的自解释神经模型组成,也就是说,模型有一个内置模块,为模型的预测生成解释。在这些方面的贡献如下:

  • 首先,我揭示了仅使用输入特征来解释即使是微不足道的模型也存在一定的困难。我表明,尽管有明显的隐含假设,即解释方法应该寻找一种特定的基于真实值特征的解释,但对于预测通常有不止一种这样的解释。我还展示了两类流行的解释方法,它们针对的是不同类型的事实基础解释,但没有明确地提及它。此外,我还指出,有时这两种解释都不足以提供一个实例上决策过程的完整视图。

  • 其次,我还介绍了一个框架,用于自动验证基于特征的事后解释方法对模型的决策过程的准确性。这个框架依赖于一种特定类型的模型的使用,这种模型有望提供对其决策过程的洞察。我分析了这种方法的潜在局限性,并介绍了减轻这些局限性的方法。引入的验证框架是通用的,可以在不同的任务和域上实例化,以提供现成的完整性测试,这些测试可用于测试基于特性的后特殊解释方法。我在一个情绪分析任务上实例化了这个框架,并提供了完备性测试s1,在此基础上我展示了三种流行的解释方法的性能。

  • 第三,为了探索为预测生成自然语言解释的自解释神经模型的发展方向,我在有影响力的斯坦福自然语言推断(SNLI)数据集之上收集了一个巨大的数据集,数据集约为570K人类编写的自然语言解释。我把这个解释扩充数据集称为e-SNLI。我做了一系列的实验来研究神经模型在测试时产生正确的自然语言解释的能力,以及在训练时提供自然语言解释的好处。

  • 第四,我指出,目前那些为自己的预测生成自然语言解释的自解释模型,可能会产生不一致的解释,比如“图像中有一只狗。”以及“同一幅图片中没有狗”。不一致的解释要么表明解释没有忠实地描述模型的决策过程,要么表明模型学习了一个有缺陷的决策过程。我将介绍一个简单而有效的对抗性框架,用于在生成不一致的自然语言解释时检查模型的完整性。此外,作为框架的一部分,我解决了使用精确目标序列的对抗性攻击的问题,这是一个以前在序列到序列攻击中没有解决的场景,它对于自然语言处理中的其他任务很有用。我将这个框架应用到e-SNLI上的一个最新的神经模型上,并表明这个模型会产生大量的不一致性。

这项工作为获得更稳健的神经模型以及对预测的可靠解释铺平了道路。

地址: https://arxiv.org/abs/2010.01496

成为VIP会员查看完整内容
0
111

近年来,机器学习发展迅速,尤其是深度学习在图像、声音、自然语言处理等领域取得卓越成效.机器学习算法的表示能力大幅度提高,但是伴随着模型复杂度的增加,机器学习算法的可解释性越差,至今,机器学习的可解释性依旧是个难题.通过算法训练出的模型被看作成黑盒子,严重阻碍了机器学习在某些特定领域的使用,譬如医学、金融等领域.目前针对机器学习的可解释性综述性的工作极少,因此,将现有的可解释方法进行归类描述和分析比较,一方面对可解释性的定义、度量进行阐述,另一方面针对可解释对象的不同,从模型的解释、预测结果的解释和模仿者模型的解释3个方面,总结和分析各种机器学习可解释技术,并讨论了机器学习可解释方法面临的挑战和机遇以及未来的可能发展方向。

成为VIP会员查看完整内容
0
48

使用生成模型的无监督学习具有发现3D场景丰富表示的潜力。这种神经场景表示可能随后支持各种下游任务,从机器人技术到计算机图形再到医学成像。然而,现有的方法忽略了场景最基本的属性之一:三维结构。在这项工作中,我们使神经场景表征与一个感应偏差的三维结构的情况。我们证明了这种归纳偏差如何使无监督的发现几何和外观,只给定的二维图像。通过学习一组这样的三维结构感知神经表征的分布,我们可以执行联合重建的三维形状和外观只给出一个单一的二维观察。我们表明,在这个过程中学习到的特征使整个类对象的三维语义分割成为可能,只训练了30个带标记的例子,证明了三维形状、外观和语义分割之间的紧密联系。最后,我们讨论了场景表示学习在计算机视觉本身中的本质和潜在作用,并讨论了未来工作的前景。

成为VIP会员查看完整内容
0
38

【导读】强化学习最新综述新鲜出炉。在这篇文章中,作者对强化学习进行了全面的研究,包括现有的挑战、不同技术的最新发展以及未来的发展方向。文章致力于提供一个清晰简单的研究框架,能够为新的研究人员或者想全面了解强化学习领域的人提供一个参考。

摘要: 强化学习是设计强调实时响应的人工智能系统的核心组成部分之一。强化学习能够影响系统在任意的环境中的行动,不管它之前是否了解环境模型。在这篇论文中,我们对强化学习进行了全面的研究,包括了现有挑战、不同技术的最新发展情况以及未来的发展方向等多个维度。本论文的基本目标是提供一个足够简单和清晰的框架,以介绍现有的强化学习方法,从而为新的研究人员和学者了解该领域的核心进展。首先,我们以一种易于理解和比较的方式阐述了强化学习的核心技术。然后,我们分析并描述了强化学习方法的最新发展。我们的分析指出,大多数模型关注于调优策略值,而不是在特定的推理状态下调优其他东西。

地址:

https://arxiv.org/abs/2001.06921

成为VIP会员查看完整内容
0
88

自然语言理解(NLU)系统需要把人类产生的文本进行编码,然后在深层次的语义层面上进行推理。NLU系统通常都会包括到两个部分:第一个是编码器(encoder),它将语言中的单词组合在一起作为输入,编码产生一个新的表示,然后将这些表示作为第二部分--预测器(predictor)中的特征,然后在这些编码过的输入信息上进行推理并生成所需的输出。本文的研究目标是构建一个端到端的NLU系统,能够结合相关的背景知识对输入信息进行编码,然后在上下文的语境中对其进行推理。

论文目录

Part I 背景知识编码

  • 相关工作:学习编码
  • 用本体论的背景知识来编码句子
  • 将选择偏好作为编码事件的背景知识

Part II 用上下文知识进行推理

  • 相关工作:学习推理
  • 用于语义分析的解码约束
  • 使用迭代覆盖引导搜索来训练语义分析器
成为VIP会员查看完整内容
0
23
小贴士
相关资讯
干货 | 可解释的机器学习
AI科技评论
8+阅读 · 2019年7月3日
10页MIT可解释机器学习最新论文
专知
3+阅读 · 2019年2月22日
Ian Goodfellow最新论文:神经网络也能Debug
德先生
3+阅读 · 2018年8月5日
论文解读 | 基于递归联合注意力的句子匹配模型
学不学吴恩达deeplearning.ai课程,看完这篇你就知道了
深度学习世界
3+阅读 · 2018年4月4日
神经网络可解释性最新进展
专知
9+阅读 · 2018年3月10日
学界 | NCSU&阿里巴巴论文:可解释的R-CNN
机器之心
5+阅读 · 2017年11月27日
相关VIP内容
相关论文
Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI
Alejandro Barredo Arrieta,Natalia Díaz-Rodríguez,Javier Del Ser,Adrien Bennetot,Siham Tabik,Alberto Barbado,Salvador García,Sergio Gil-López,Daniel Molina,Richard Benjamins,Raja Chatila,Francisco Herrera
37+阅读 · 2019年10月22日
Qian Chen,Zhu Zhuo,Wen Wang
9+阅读 · 2019年2月28日
Foreground-aware Image Inpainting
Wei Xiong,Zhe Lin,Jimei Yang,Xin Lu,Connelly Barnes,Jiebo Luo
3+阅读 · 2019年1月17日
Contextualized Non-local Neural Networks for Sequence Learning
Pengfei Liu,Shuaichen Chang,Xuanjing Huang,Jian Tang,Jackie Chi Kit Cheung
3+阅读 · 2018年11月21日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
6+阅读 · 2018年9月13日
Video Summarisation by Classification with Deep Reinforcement Learning
Kaiyang Zhou,Tao Xiang,Andrea Cavallaro
3+阅读 · 2018年7月9日
Xu Chen,Yongfeng Zhang,Hongteng Xu,Yixin Cao,Zheng Qin,Hongyuan Zha
7+阅读 · 2018年1月31日
João Oliveira,Mike Pinto,Pedro Saleiro,Jorge Teixeira
3+阅读 · 2018年1月23日
Xuancheng Ren,Xu Sun,Ji Wen,Bingzhen Wei,Weidong Zhan,Zhiyuan Zhang
3+阅读 · 2018年1月23日
Wei He,Kai Liu,Yajuan Lyu,Shiqi Zhao,Xinyan Xiao,Yuan Liu,Yizhong Wang,Hua Wu,Qiaoqiao She,Xuan Liu,Tian Wu,Haifeng Wang
3+阅读 · 2017年11月15日
Top