深度神经网络(DNN)是实现人类在许多学习任务上的水平的不可缺少的机器学习工具。然而,由于其黑箱特性,很难理解输入数据的哪些方面驱动了网络的决策。在现实世界中,人类需要根据输出的dna做出可操作的决定。这种决策支持系统可以在关键领域找到,如立法、执法等。重要的是,做出高层决策的人员能够确保DNN决策是由数据特征的组合驱动的,这些数据特征在决策支持系统的部署上下文中是适当的,并且所做的决策在法律上或伦理上是可辩护的。由于DNN技术发展的惊人速度,解释DNN决策过程的新方法和研究已经发展成为一个活跃的研究领域。在定义什么是能够解释深度学习系统的行为和评估系统的“解释能力”时所存在的普遍困惑,进一步加剧了这种复杂性。为了缓解这一问题,本文提供了一个“领域指南”,为那些在该领域没有经验的人提供深度学习解释能力指南: i)讨论了研究人员在可解释性研究中增强的深度学习系统的特征,ii)将可解释性放在其他相关的深度学习研究领域的背景下,iii)介绍了定义基础方法空间的三个简单维度。

成为VIP会员查看完整内容
0
98

相关内容

随着图像处理,语音识别等人工智能技术的发展,很多学习方法尤其是采用深度学习框架的方法取得了优异的性能,在精度和速度方面有了很大的提升,但随之带来的问题也很明显,这些学习方法如果要获得稳定的学习效果,往往需要使用数量庞大的标注数据进行充分训练,否则就会出现欠拟合的情况而导致学习性能的下降。因此,随着任务复杂程度和数据规模的增加,对人工标注数据的数量和质量也提出了更高的要求,造成了标注成本和难度的增大。同时,单一任务的独立学习往往忽略了来自其他任务的经验信息,致使训练冗余重复因而导致了学习资源的浪费,也限制了其性能的提升。为了缓解这些问题,属于迁移学习范畴的多任务学习方法逐渐引起了研究者的重视。与单任务学习只使用单个任务的样本信息不同,多任务学习假设不同任务数据分布之间存在一定的相似性,在此基础上通过共同训练和优化建立任务之间的联系。这种训练模式充分促进任务之间的信息交换并达到了相互学习的目的,尤其是在各自任务样本容量有限的条件下,各个任务可以从其它任务获得一定的启发,借助于学习过程中的信息迁移能间接利用其它任务的数据,从而缓解了对大量标注数据的依赖,也达到了提升各自任务学习性能的目的。在此背景之下,本文首先介绍了相关任务的概念,并按照功能的不同对相关任务的类型进行划分后再对它们的特点进行逐一描述。然后,本文按照数据处理模式和任务关系建模过程的不同将当前的主流算法划分为两大类:结构化多任务学习算法和深度多任务学习算法。其中,结构化多任务学习算法采用线性模型,可以直接针对数据进行结构假设并且使用原有标注特征表述任务关系,同时,又可根据学习对象的不同将其细分为基于任务层面和基于特征层面两种不同结构,每种结构有判别式方法和生成式方法两种实现手段。与结构化多任务学习算法的建模过程不同,深度多任务学习算法利用经过多层特征抽象后的深层次信息进行任务关系描述,通过处理特定网络层中的参数达到信息共享的目的。紧接着,以两大类算法作为主线,本文详细分析了不同建模方法中对任务关系的结构假设、实现途径、各自的优缺点以及方法之间的联系。最后,本文总结了任务之间相似性及其紧密程度的判别依据,并且分析了多任务作用机制的有效性和内在成因,从归纳偏置和动态求解等角度阐述了多任务信息迁移的特点。 http://gb.oversea.cnki.net/KCMS/detail/detail.aspx?filename=JSJX20190417000&dbcode=CJFD&dbname=CAPJ2019

成为VIP会员查看完整内容
0
131

随着web技术的发展,多模态或多视图数据已经成为大数据的主要流,每个模态/视图编码数据对象的单个属性。不同的模态往往是相辅相成的。这就引起了人们对融合多模态特征空间来综合表征数据对象的研究。大多数现有的先进技术集中于如何融合来自多模态空间的能量或信息,以提供比单一模态的同行更优越的性能。最近,深度神经网络展示了一种强大的架构,可以很好地捕捉高维多媒体数据的非线性分布,对多模态数据自然也是如此。大量的实证研究证明了深多模态方法的优势,从本质上深化了多模态深特征空间的融合。在这篇文章中,我们提供了从浅到深空间的多模态数据分析领域的现有状态的实质性概述。在整个调查过程中,我们进一步指出,该领域的关键要素是多模式空间的协作、对抗性竞争和融合。最后,我们就这一领域未来的一些方向分享我们的观点。

成为VIP会员查看完整内容
0
146

深度学习方法对各种医学诊断任务都非常有效,甚至在其中一些任务上击败了人类专家。然而,算法的黑箱特性限制了临床应用。最近的可解释性研究旨在揭示对模型决策影响最大的特征。这一领域的大多数文献综述都集中在分类学、伦理学和解释的需要上。本文综述了可解释的深度学习在不同医学成像任务中的应用。本文从一个为临床最终用户设计系统的深度学习研究者的实际立场出发,讨论了各种方法、临床部署的挑战和需要进一步研究的领域。

成为VIP会员查看完整内容
0
67

【简介】近些年来,可解释的人工智能受到了越来越多的关注。随着人工智能模型变得越来越复杂和不透明,可解释性变得越来越重要。最近,研究人员一直在以用户为中心研究和处理可解释性,寻找可信任、可理解、明确的来源和上下文感知的可解释性。在这篇论文中,我们通过调研人工智能和相关领域中有关可解释性的文献,并利用过去的相关研究生成了一系列的可解释类型。我们定义每种类型,并提供一个示例问题,来阐述对这种解释方式的需求。我们相信,这一系列的解释类型将有助于未来的系统设计人员获得可靠的需求和确定各种需求的优先级,并进一步帮助生成能够更好地符合用户和情景需求的解释。

介绍

人工智能(AI)领域已经从单纯的基于符号和逻辑的专家系统发展到使用统计和逻辑推理技术的混合系统。可解释性人工智能的进展与人工智能方法的发展紧密相关,例如我们在早期的论文“可解释的知识支持系统的基础”中所涉及的类别,涵盖了专家系统、语义web方法、认知助手和机器学习方法。我们注意到这些方法主要处理可解释性的特定方面。例如,由专家系统产生的解释主要用于提供推理所需的痕迹、来源和理由。这些由认知助理提供的模型能够调整它们的形式以适应用户的需求,并且在机器学习和专家系统领域,解释为模型的功能提供了一种“直觉”。

成为VIP会员查看完整内容
0
62

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
127

【简介】随着深度表示学习的发展,强化学习(RL)已经成为了一个强大的学习框架,其可以在高维度空间中学习复杂的规则。这篇综述总结了深度强化学习(DRL)算法,提供了采用强化学习的自动驾驶任务的分类方法,重点介绍了算法上的关键挑战和在现实世界中将强化学习部署在自动驾驶方面的作用,以及最终评估,测试和加强强化学习和模仿学习健壮性的现有解决方案。

论文链接: https://arxiv.org/abs/2002.00444

介绍:

自动驾驶(AD)系统由多个感知级任务组成,由于采用了深度学习架构,这些任务现在已经达到了很高的精度。除了感知任务之外,自主驾驶系统还包含多个其他任务,传统的监督学习方法已经不再适用。首先,当对agent行为的预测发生变化时,从自动驾驶agent所处的环境中接收到的未来传感器观察到的结果,例如获取市区最佳驾驶速度的任务。其次,监督信号(如碰撞时间(TTC),相对于agent最佳轨迹的侧向误差)表示agent的动态变化以及环境中的不确定性。这些问题都需要定义随机损失函数来使其最大化。最后,agent需要学习当前环境新的配置参数,预测其所处的环境中每一时刻的最优决策。这表明在观察agent和其所处环境的情况下,一个高维度的空间能够给出大量唯一的配置参数。在这些场景中,我们的目标是解决一个连续决策的问题。在这篇综述中,我们将介绍强化学习的概念,强化学习是一种很有前景的解决方案和任务分类方法,特别是在驱动策略、预测感知、路径规划以及低层控制器设计等领域。我们还重点回顾了强化学习在自动驾驶领域当中各种现实的应用。最后,我们通过阐述应用当前诸如模仿学习和Q学习等强化学习算法时所面临的算力挑战和风险来激励使用者对强化学习作出改进。

章节目录:

section2: 介绍一个典型的自动驾驶系统及其各个组件。

section3: 对深度强化学习进行介绍,并简要讨论关键概念。

section4: 探讨在强化学习基本框架上对其进行更深层次,更加复杂的扩展。

section5: 对强化学习用于自动驾驶领域的所面临的问题提供一个概述。

section6: 介绍将强化学习部署到真实世界自动驾驶系统中所面临的挑战。

section7: 总结

成为VIP会员查看完整内容
0
59

题目: Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends

简介: 传统上,语音处理研究将设计人工工程声学特征(特征工程)的任务与设计有效的机器学习(ML)模型以做出预测和分类决策的任务分离为一个独立的问题。这种方法有两个主要缺点:首先,手工进行的特征工程很麻烦并且需要人类知识。其次,设计的功能可能不是最适合当前目标的。这引发了语音社区中采用表示表达学习技术的最新趋势,该趋势可以自动学习输入信号的中间表示,从而更好地适应手头的任务,从而提高性能。表示学习的重要性随着深度学习(DL)的发展而增加,在深度学习中,表示学习更有用,对人类知识的依赖性更低,这有助于分类,预测等任务。本文的主要贡献在于:通过将跨三个不同研究领域(包括自动语音识别(ASR),说话者识别(SR)和说话者情绪识别(SER))的分散研究汇总在一起,对语音表示学习的不同技术进行了最新和全面的调查。最近针对ASR,SR和SER进行了语音复习,但是,这些复习都没有集中于从语音中学习表示法,这是我们调查旨在弥补的差距。

成为VIP会员查看完整内容
0
18

【导读】最新的一期《Science》机器人杂志刊登了关于XAI—Explainable artificial intelligence专刊,涵盖可解释人工智能的简述论文,论述了XAI对于改善用户理解、信任与管理AI系统的重要性。并包括5篇专刊论文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。

https://robotics.sciencemag.org/content/4/37/eaay7120

最近在机器学习(ML)方面的成功引发了人工智能(AI)应用的新浪潮,为各种领域提供了广泛的益处。然而,许多这些系统中不能向人类用户解释它们的自主决策和行为。对某些人工智能应用来说,解释可能不是必要的,一些人工智能研究人员认为,强调解释是错误的,太难实现,而且可能是不必要的。然而,对于国防、医学、金融和法律的许多关键应用,解释对于用户理解、信任和有效地管理这些新的人工智能合作伙伴是必不可少的(参见最近的评论(1-3))。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新ML技术。其中包括支持向量机(SVMs)、随机森林、概率图形模型、强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出了高性能,但它们在可解释性方面是不透明的。ML性能(例如,预测准确性)和可解释性之间可能存在固有的冲突。通常,性能最好的方法(如DL)是最不可解释的,而最可解释的方法(如决策树)是最不准确的。图1用一些ML技术的性能可解释性权衡的概念图说明了这一点。

图1 ML技术的性能与可解释性权衡。

(A)学习技巧和解释能力。(B)可解释模型:学习更结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系的学习模型,以及使用随机语法学习更多可解释的结构。深度学习:一些设计选择可能产生更多可解释的表示(例如,训练数据选择、架构层、损失函数、正则化、优化技术和训练序列)。模型不可知论者:对任意给定的ML模型(如黑箱)进行试验以推断出一个近似可解释的模型的技术。

什么是XAI?

一个可解释的人工智能(XAI)系统的目的是通过提供解释使其行为更容易被人类理解。有一些通用原则可以帮助创建有效的、更人性化的人工智能系统:XAI系统应该能够解释它的能力和理解;解释它已经做了什么,现在正在做什么,接下来会发生什么; 披露其所依据的重要信息(4)。

然而,每一个解释都是根据AI系统用户的任务、能力和期望而设置的。因此,可解释性和可解释性的定义是与域相关的,并且可能不是与域独立定义的。解释可以是全面的,也可以是片面的。完全可解释的模型给出了完整和完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释模型服从根据域定义的“可解释性约束”(例如,某些变量和相关变量的单调性服从特定关系),而黑箱或无约束模型不一定服从这些约束。部分解释可能包括变量重要性度量、局部模型(在特定点近似全局模型)和显著性图。

来自用户的期望

XAI假设向最终用户提供一个解释,该用户依赖于AI系统所产生的决策、建议或操作,然而可能有许多不同类型的用户,通常在系统开发和使用的不同时间点(5)。例如,一种类型的用户可能是智能分析师、法官或操作员。但是,需要对系统进行解释的其他用户可能是开发人员或测试操作员,他们需要了解哪里可能有改进的地方。然而,另一个用户可能是政策制定者,他们试图评估系统的公平性。每个用户组可能有一个首选的解释类型,能够以最有效的方式交流信息。有效的解释将考虑到系统的目标用户组,他们的背景知识可能不同,需要解释什么。

可操作性——评估和测量

一些方法提出了一些评价和衡量解释有效性的方法;然而,目前还没有通用的方法来衡量XAI系统是否比非XAI系统更容易被用户理解。其中一些度量是用户角度的主观度量,例如用户满意度,可以通过对解释的清晰度和实用性的主观评级来度量。解释有效性的更客观的衡量标准可能是任务绩效; 即,这样的解释是否提高了用户的决策能力?可靠和一致的测量解释的影响仍然是一个开放的研究问题。XAI系统的评价和测量包括评价框架、共同点[不同的思维和相互理解(6)]、常识和论证[为什么(7)]。

XAI -问题和挑战

在ML和解释的交集处仍然存在许多活跃的问题和挑战。

  1. 从电脑开始还是从人开始(8). XAI系统应该针对特定的用户进行解释吗?他们应该考虑用户缺乏的知识吗?我们如何利用解释来帮助交互式和人在循环的学习,包括让用户与解释交互以提供反馈和指导学习?

  2. 准确性与可解释性。XAI解释研究的一条主线是探索解释的技术和局限性。可解释性需要考虑准确性和保真度之间的权衡,并在准确性、可解释性和可处理性之间取得平衡。

  3. 使用抽象来简化解释。高级模式是在大步骤中描述大计划的基础。对抽象的自动发现一直是一个挑战,而理解学习和解释中抽象的发现和共享是当前XAI研究的前沿。

  4. 解释能力与解释决策。有资格的专家精通的一个标志是他们能够对新情况进行反思。有必要帮助终端用户了解人工智能系统的能力,包括一个特定的人工智能系统有哪些能力,如何衡量这些能力,以及人工智能系统是否存在盲点;也就是说,有没有一类解是永远找不到的?

从以人为本的研究视角来看,对能力和知识的研究可以使XAI超越解释特定XAI系统和帮助用户确定适当信任的角色。未来,XAIs可能最终会扮演重要的社会角色。这些角色不仅包括向个人学习和解释,而且还包括与其他代理进行协调以连接知识、发展跨学科见解和共同点、合作教授人员和其他代理,以及利用以前发现的知识来加速知识的进一步发现和应用。从这样一个知识理解和生成的社会视角来看,XAI的未来才刚刚开始。

本期刊论文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我们会相信机器人吗?科幻小说说没有,但可解释的机器人可能会找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最适合促进信任的解释方法不一定对应于那些有助于最佳任务性能的组件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的强化学习方法能从形式化的语言中获得回报,并保证了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

参考文献:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

成为VIP会员查看完整内容
0
76

论文主题: Recent Advances in Deep Learning for Object Detection

论文摘要: 目标检测是计算机视觉中的基本视觉识别问题,并且在过去的几十年中已得到广泛研究。目标检测指的是在给定图像中找到具有精确定位的特定目标,并为每个目标分配一个对应的类标签。由于基于深度学习的图像分类取得了巨大的成功,因此近年来已经积极研究了使用深度学习的对象检测技术。在本文中,我们对深度学习中视觉对象检测的最新进展进行了全面的调查。通过复习文献中最近的大量相关工作,我们系统地分析了现有的目标检测框架并将调查分为三个主要部分:(i)检测组件,(ii)学习策略(iii)应用程序和基准。在调查中,我们详细介绍了影响检测性能的各种因素,例如检测器体系结构,功能学习,建议生成,采样策略等。最后,我们讨论了一些未来的方向,以促进和刺激未来的视觉对象检测研究。与深度学习。

成为VIP会员查看完整内容
0
63
小贴士
相关VIP内容
专知会员服务
131+阅读 · 2020年7月10日
专知会员服务
146+阅读 · 2020年6月16日
专知会员服务
62+阅读 · 2020年3月19日
专知会员服务
127+阅读 · 2020年3月6日
专知会员服务
59+阅读 · 2020年2月8日
【Science最新论文】XAI—可解释人工智能简述,机遇与挑战
专知会员服务
61+阅读 · 2019年8月30日
相关论文
Pasquale Minervini,Matko Bošnjak,Tim Rocktäschel,Sebastian Riedel,Edward Grefenstette
8+阅读 · 2019年12月17日
TinyBERT: Distilling BERT for Natural Language Understanding
Xiaoqi Jiao,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,Qun Liu
8+阅读 · 2019年9月23日
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
Bill Yuchen Lin,Xinyue Chen,Jamin Chen,Xiang Ren
7+阅读 · 2019年9月4日
Multi-Task Deep Neural Networks for Natural Language Understanding
Xiaodong Liu,Pengcheng He,Weizhu Chen,Jianfeng Gao
3+阅读 · 2019年1月31日
A Survey of the Recent Architectures of Deep Convolutional Neural Networks
Asifullah Khan,Anabia Sohail,Umme Zahoora,Aqsa Saeed Qureshi
36+阅读 · 2019年1月17日
Joaquin Vanschoren
109+阅读 · 2018年10月8日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
7+阅读 · 2018年9月13日
Yongfeng Zhang,Xu Chen
10+阅读 · 2018年5月13日
Lior Friedman,Shaul Markovitch
4+阅读 · 2018年1月31日
Top