【深度】可解释性与deep learning的发展

2017 年 10 月 15 日 机器学习研究会
【深度】可解释性与deep learning的发展

来源:知乎 -Qs.Zhang

https://zhuanlan.zhihu.com/p/30074544


【导读】大家好,我叫张拳石,UCLA博士后。目前在朱松纯老师的实验室,带领一个团队,做explainable AI方向。本文的题目有些大,这篇短文中,我只简单谈谈个人对deep learning发展状况的感受,和我最近的explanatory graph for CNNs和interpretable CNN两个研究课题。希望大家批评指正。

当deep learning刚刚在CV圈子里面兴起的时候,我并没有第一时间给予足够的关注,直到几个月后,变革的巨浪拍下,旧方向消亡的速度和新技术诞生的节奏都大大超过我的预期。相信很多人都有类似的感觉。一方面,deep learning超强的performance终结了一批旧的算法。另一方面,相比于传统graph-based methods,deep learning大大降低了算法多样性,简化了算法设计的复杂度。一时间,做CV研究的思路变得非常清晰:设计一个新的loss,提出一个新的网络结构,把传统的heuristic方法hard encoded到网络结构中去实现端对端学习。一两项技术能够把CV领域改造到这种地步,deep learning为AI带来巨大的改变。

然而当端对端学习神经网络犹如烈火烹油迅速发展的时候,我和周围的很多学者不时的会感觉到一丝的隐忧:端对端的训练一个black-box model会一直平稳的向下发展吗?随着网络结构和loss function的设计越来越复杂,神经网络真的会按照设计老老实实的去表达人们希望它表达的知识吗?抱着这样的焦虑,很多学者致力于visualization of CNN knowledge,让CNN中每个unit的知识清晰的展现在人们的面前。更进一步,@周博磊定义出一系列标准去评测CNN知识的interpretability。


但是归根结底,在端对端学习之外,我觉得还需要找到一套新的神经网络操作工具,即让神经网络具有清晰的符号化的内部知识表达,去匹配人类自身的知识框架,从而人们可以在语义层面对神经网络进行诊断和修改。从logic-based专家系统,到graphical model,再到深度神经网络,模型的flexibility和performance逐渐提高。但是,从相反的方向,把一个神经网络的内部逻辑转化成graphical representations,或者logic-based rules,从而提高知识表达的interpretability。有了清晰的内部表达,那么对神经网络的训练是不是不但可以end-to-end,而且可以end-to-middle,middle-to-middle?当网络内部一些单元具有了某种语义,那么transfer learning是不是直接在语义层面指派就好了,不需要大数据去训练了?当网络训练可以深入到网络的内部语义,或许deep learning未来的发展会有更多的可能性。


我希望一个CNN不仅仅告诉我它在某张图像上检测到一只小鸟,我还要CNN明确的告诉我,它用第一个filter去监测鸟头,第二个filter去检测鸟尾巴。因为这两个filter被这张图像触发,所以判断出图像中有一只小鸟。进一步,当我知道鸟的分类得分是0.7,我还希望CNN给出鸟头部分贡献了0.3的分数,鸟尾贡献了0.2。当CNN内部逻辑足够条理清晰,我们是否还需要通过大数据进行端对端的训练?我们能否在语义层面直接debug CNN呢?

沿着这条思路,在“Interpreting CNN knowledge via an Explanatory Graph”一文中,我主要介绍了如何把一个CNN(pre-trained for object classification)的conv-layer内部知识转化成一个graphical model。算法自动学习出一个explanatory graph with tens of thousands of nodes去解释CNN内部的hierarchical知识结构。Explanatory graph中每一个node,严格表示在CNN中某个conv-layer的某个object part pattern。这样我就可以把混乱的CNN的知识拆分成几十万个object parts的子patterns。每个子pattern有很强的可迁移性(transferability),比如在multi-shot part localization的上可以降低1/3—2/3的误差。


转自:专知


阅读全文请点击“阅读原文”

登录查看更多
6

相关内容

广义上的可解释性指在我们需要了解或解决一件事情的时候,我们可以获得我们所需要的足够的可以理解的信息,也就是说一个人能够持续预测模型结果的程度。按照可解释性方法进行的过程进行划分的话,大概可以划分为三个大类: 在建模之前的可解释性方法,建立本身具备可解释性的模型,在建模之后使用可解释性方法对模型作出解释。

A comprehensive artificial intelligence system needs to not only perceive the environment with different `senses' (e.g., seeing and hearing) but also infer the world's conditional (or even causal) relations and corresponding uncertainty. The past decade has seen major advances in many perception tasks such as visual object recognition and speech recognition using deep learning models. For higher-level inference, however, probabilistic graphical models with their Bayesian nature are still more powerful and flexible. In recent years, Bayesian deep learning has emerged as a unified probabilistic framework to tightly integrate deep learning and Bayesian models. In this general framework, the perception of text or images using deep learning can boost the performance of higher-level inference and in turn, the feedback from the inference process is able to enhance the perception of text or images. This survey provides a comprehensive introduction to Bayesian deep learning and reviews its recent applications on recommender systems, topic models, control, etc. Besides, we also discuss the relationship and differences between Bayesian deep learning and other related topics such as Bayesian treatment of neural networks.

0
40
下载
预览

主题: Explainable Reinforcement Learning: A Survey

摘要: 可解释的人工智能(XAI),即更透明和可解释的AI模型的开发在过去几年中获得了越来越多的关注。这是由于这样一个事实,即AI模型随着其发展为功能强大且无处不在的工具而表现出一个有害的特征:性能与透明度之间的权衡。这说明了一个事实,即模型的内部工作越复杂,就越难以实现其预测或决策。但是,特别是考虑到系统像机器学习(ML)这样的方法(强化学习(RL))在系统自动学习的情况下,显然有必要了解其决策的根本原因。由于据我们所知,目前尚无人提供可解释性强化学习(XRL)方法的概述的工作,因此本调查试图解决这一差距。我们对问题进行了简短的总结,重要术语的定义以及提议当前XRL方法的分类和评估。我们发现a)大多数XRL方法通过模仿和简化一个复杂的模型而不是设计本质上简单的模型来起作用,并且b)XRL(和XAI)方法通常忽略了方程的人为方面,而不考虑相关领域的研究像心理学或哲学。因此,需要跨学科的努力来使所生成的解释适应(非专家)人类用户,以便有效地在XRL和XAI领域中取得进步。

成为VIP会员查看完整内容
0
47

Mining graph data has become a popular research topic in computer science and has been widely studied in both academia and industry given the increasing amount of network data in the recent years. However, the huge amount of network data has posed great challenges for efficient analysis. This motivates the advent of graph representation which maps the graph into a low-dimension vector space, keeping original graph structure and supporting graph inference. The investigation on efficient representation of a graph has profound theoretical significance and important realistic meaning, we therefore introduce some basic ideas in graph representation/network embedding as well as some representative models in this chapter.

0
18
下载
预览

Deep learning has been shown successful in a number of domains, ranging from acoustics, images to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, a significant amount of research efforts have been devoted to this area, greatly advancing graph analyzing techniques. In this survey, we comprehensively review different kinds of deep learning methods applied to graphs. We divide existing methods into three main categories: semi-supervised methods including Graph Neural Networks and Graph Convolutional Networks, unsupervised methods including Graph Autoencoders, and recent advancements including Graph Recurrent Neural Networks and Graph Reinforcement Learning. We then provide a comprehensive overview of these methods in a systematic manner following their history of developments. We also analyze the differences of these methods and how to composite different architectures. Finally, we briefly outline their applications and discuss potential future directions.

0
37
下载
预览

This paper reviews recent studies in understanding neural-network representations and learning neural networks with interpretable/disentangled middle-layer representations. Although deep neural networks have exhibited superior performance in various tasks, the interpretability is always the Achilles' heel of deep neural networks. At present, deep neural networks obtain high discrimination power at the cost of low interpretability of their black-box representations. We believe that high model interpretability may help people to break several bottlenecks of deep learning, e.g., learning from very few annotations, learning via human-computer communications at the semantic level, and semantically debugging network representations. We focus on convolutional neural networks (CNNs), and we revisit the visualization of CNN representations, methods of diagnosing representations of pre-trained CNNs, approaches for disentangling pre-trained CNN representations, learning of CNNs with disentangled representations, and middle-to-end learning based on model interpretability. Finally, we discuss prospective trends in explainable artificial intelligence.

0
12
下载
预览
小贴士
相关资讯
AI可解释性文献列表
专知
35+阅读 · 2019年10月7日
深度学习的学习历程
极市平台
10+阅读 · 2019年5月28日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
11+阅读 · 2019年4月13日
未来人类会关注可解释性吗?
待字闺中
5+阅读 · 2018年8月9日
大牛的《深度学习》笔记,Deep Learning速成教程
极市平台
16+阅读 · 2018年4月10日
深度学习(deep learning)发展史
机器学习算法与Python学习
6+阅读 · 2018年3月19日
自然语言处理的十个发展趋势
北京思腾合力科技有限公司
4+阅读 · 2017年11月25日
【深度】Deep Visualization:可视化并理解CNN
专知
10+阅读 · 2017年9月30日
相关VIP内容
可解释强化学习,Explainable Reinforcement Learning: A Survey
专知会员服务
47+阅读 · 2020年5月14日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
25+阅读 · 2019年11月10日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
40+阅读 · 2020年7月2日
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
10+阅读 · 2019年11月19日
Ziwei Zhang,Peng Cui,Wenwu Zhu
37+阅读 · 2018年12月11日
Theo Ryffel,Andrew Trask,Morten Dahl,Bobby Wagner,Jason Mancuso,Daniel Rueckert,Jonathan Passerat-Palmbach
4+阅读 · 2018年11月13日
Deep Randomized Ensembles for Metric Learning
Hong Xuan,Richard Souvenir,Robert Pless
4+阅读 · 2018年9月4日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
A Multi-Objective Deep Reinforcement Learning Framework
Thanh Thi Nguyen
9+阅读 · 2018年6月27日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Quanshi Zhang,Song-Chun Zhu
12+阅读 · 2018年2月7日
Top