简介:

深度学习被认为是一种无模型,端到端和黑盒子的方法。它需要大量数据样本,而不是目标领域的专家知识。因此,它没有指定决策的机制和原因。这方面被认为是深度学习的关键限制。本文介绍了另一种观点,即贝叶斯深度学习。深度学习可以应用在任何框架中,例如贝叶斯网络和强化学习。随后,专家可以将知识实现为图结构,加快学习速度,并获得目标域上的新知识。该框架被称为深度生成模型。相反,我们可以将贝叶斯建模方法直接引入深度学习。随后,有可能通过不确定性量化输出来探究关于其决策确定性的深度学习,并检测错误的决策或异常输入。使用上述方法,可以调整深度学习的“brightness”。

成为VIP会员查看完整内容
0
27

相关内容

贝叶斯方法可以用于学习神经网络权重的概率分布。将神经网络中的wi 和 b 由确定的值变成分布(distributions)。具体而言,为弥补反向传播的不足,通过在模型参数或模型输出上放置概率分布来估计。在权重上放置一个先验分布,然后尝试捕获这些权重在给定数据的情况下变化多少来模拟认知不确定性。该方法不是训练单个网络,而是训练网络集合,其中每个网络的权重来自共享的、已学习的概率分布。

摘要

一个综合的人工智能系统不仅需要用不同的感官(如视觉和听觉)感知环境,还需要推断世界的条件(甚至因果)关系和相应的不确定性。在过去的十年里,我们看到了许多感知任务的重大进展,比如视觉对象识别和使用深度学习模型的语音识别。然而,对于更高层次的推理,具有贝叶斯特性的概率图模型仍然更加强大和灵活。近年来,贝叶斯深度学习作为一种将深度学习与贝叶斯模型紧密结合的统一的概率框架出现了。在这个总体框架中,利用深度学习对文本或图像的感知可以提高更高层次推理的性能,推理过程的反馈也可以增强文本或图像的感知。本文对贝叶斯深度学习进行了全面的介绍,并对其在推荐系统主题模型控制等方面的最新应用进行了综述。此外,我们还讨论了贝叶斯深度学习与其他相关课题如神经网络的贝叶斯处理之间的关系和区别。

介绍

在过去的十年中,深度学习在许多流行的感知任务中取得了显著的成功,包括视觉对象识别、文本理解和语音识别。这些任务对应于人工智能(AI)系统的看、读、听能力,它们无疑是人工智能有效感知环境所必不可少的。然而,要建立一个实用的、全面的人工智能系统,仅仅有感知能力是远远不够的。首先,它应该具备思维能力。

一个典型的例子是医学诊断,它远远超出了简单的感知:除了看到可见的症状(或CT上的医学图像)和听到患者的描述,医生还必须寻找所有症状之间的关系,最好推断出它们的病因。只有在那之后,医生才能给病人提供医疗建议。在这个例子中,虽然视觉和听觉的能力让医生能够从病人那里获得信息,但医生的思维能力才是关键。具体来说,这里的思维能力包括识别条件依赖、因果推理、逻辑演绎、处理不确定性等,显然超出了传统深度学习方法的能力。幸运的是,另一种机器学习范式,概率图形模型(PGM),在概率或因果推理和处理不确定性方面表现出色。问题在于,PGM在感知任务上不如深度学习模型好,而感知任务通常涉及大规模和高维信号(如图像和视频)。为了解决这个问题,将深度学习和PGM统一到一个有原则的概率框架中是一个自然的选择,在本文中我们称之为贝叶斯深度学习(BDL)。 在上面的例子中,感知任务包括感知病人的症状(例如,通过看到医学图像),而推理任务包括处理条件依赖性、因果推理、逻辑推理和不确定性。通过贝叶斯深度学习中有原则的整合,将感知任务和推理任务视为一个整体,可以相互借鉴。具体来说,能够看到医学图像有助于医生的诊断和推断。另一方面,诊断和推断反过来有助于理解医学图像。假设医生可能不确定医学图像中的黑点是什么,但如果她能够推断出症状和疾病的病因,就可以帮助她更好地判断黑点是不是肿瘤。 再以推荐系统为例。一个高精度的推荐系统需要(1)深入了解条目内容(如文档和电影中的内容),(2)仔细分析用户档案/偏好,(3)正确评价用户之间的相似度。深度学习的能力有效地处理密集的高维数据,如电影内容擅长第一子任务,而PGM专攻建模条件用户之间的依赖关系,项目和评分(参见图7为例,u, v,和R是用户潜在的向量,项目潜在的向量,和评级,分别)擅长其他两个。因此,将两者统一在一个统一的概率原则框架中,可以使我们在两个世界中都得到最好的结果。这种集成还带来了额外的好处,可以优雅地处理推荐过程中的不确定性。更重要的是,我们还可以推导出具体模型的贝叶斯处理方法,从而得到更具有鲁棒性的预测。

作为第三个例子,考虑根据从摄像机接收到的实时视频流来控制一个复杂的动态系统。该问题可以转化为迭代执行两项任务:对原始图像的感知和基于动态模型的控制。处理原始图像的感知任务可以通过深度学习来处理,而控制任务通常需要更复杂的模型,如隐马尔科夫模型和卡尔曼滤波器。由控制模型选择的动作可以依次影响接收的视频流,从而完成反馈回路。为了在感知任务和控制任务之间实现有效的迭代过程,我们需要信息在它们之间来回流动。感知组件将是控制组件估计其状态的基础,而带有动态模型的控制组件将能够预测未来的轨迹(图像)。因此,贝叶斯深度学习是解决这一问题的合适选择。值得注意的是,与推荐系统的例子类似,来自原始图像的噪声和控制过程中的不确定性都可以在这样的概率框架下自然地处理。 以上例子说明了BDL作为一种统一深度学习和PGM的原则方式的主要优势:感知任务与推理任务之间的信息交换、对高维数据的条件依赖以及对不确定性的有效建模。关于不确定性,值得注意的是,当BDL应用于复杂任务时,需要考虑三种参数不确定性:

  1. 神经网络参数的不确定性
  2. 指定任务参数的不确定性
  3. 感知组件和指定任务组件之间信息交换的不确定性

通过使用分布代替点估计来表示未知参数,BDL提供了一个很有前途的框架,以统一的方式处理这三种不确定性。值得注意的是,第三种不确定性只能在BDL这样的统一框架下处理;分别训练感知部分和任务特定部分相当于假设它们之间交换信息时没有不确定性。注意,神经网络通常是过参数化的,因此在有效处理如此大的参数空间中的不确定性时提出了额外的挑战。另一方面,图形模型往往更简洁,参数空间更小,提供了更好的可解释性。

除了上述优点之外,BDL内建的隐式正则化还带来了另一个好处。通过在隐藏单元、定义神经网络的参数或指定条件依赖性的模型参数上施加先验,BDL可以在一定程度上避免过拟合,尤其是在数据不足的情况下。通常,BDL模型由两个组件组成,一个是感知组件,它是某种类型神经网络的贝叶斯公式,另一个是任务特定组件,使用PGM描述不同隐藏或观察变量之间的关系。正则化对它们都很重要。神经网络通常过度参数化,因此需要适当地正则化。正则化技术如权值衰减和丢失被证明是有效地改善神经网络的性能,他们都有贝叶斯解释。在任务特定组件方面,专家知识或先验信息作为一种正规化,可以在数据缺乏时通过施加先验来指导模型。 在将BDL应用于实际任务时,也存在一些挑战。(1)首先,设计一个具有合理时间复杂度的高效的神经网络贝叶斯公式并非易事。这一行是由[42,72,80]开创的,但是由于缺乏可伸缩性,它没有被广泛采用。幸运的是,这个方向的一些最新进展似乎为贝叶斯神经网络的实际应用提供了一些启示。(2)第二个挑战是如何确保感知组件和任务特定组件之间有效的信息交换。理想情况下,一阶和二阶信息(例如,平均值和方差)应该能够在两个组件之间来回流动。一种自然的方法是将感知组件表示为PGM,并将其与特定任务的PGM无缝连接,如[24,118,121]中所做的那样。 本综述提供了对BDL的全面概述,以及各种应用程序的具体模型。综述的其余部分组织如下:在第2节中,我们将回顾一些基本的深度学习模型。第3节介绍PGM的主要概念和技术。这两部分作为BDL的基础,下一节第4节将演示统一BDL框架的基本原理,并详细说明实现其感知组件和特定于任务的组件的各种选择。第5节回顾了应用于不同领域的BDL模型,如推荐系统、主题模型和控制,分别展示了BDL在监督学习、非监督学习和一般表示学习中的工作方式。第6部分讨论了未来的研究问题,并对全文进行了总结。

结论和未来工作

BDL致力于将PGM和NN的优点有机地整合在一个原则概率框架中。在这项综述中,我们确定了这种趋势,并回顾了最近的工作。BDL模型由感知组件和任务特定组件组成;因此,我们分别描述了过去几年开发的两个组件的不同实例,并详细讨论了不同的变体。为了学习BDL中的参数,人们提出了从块坐标下降、贝叶斯条件密度滤波、随机梯度恒温器到随机梯度变分贝叶斯等多种类型的算法。 BDL从PGM的成功和最近在深度学习方面有前景的进展中获得了灵感和人气。由于许多现实世界的任务既涉及高维信号(如图像和视频)的有效感知,又涉及随机变量的概率推理,因此BDL成为利用神经网络的感知能力和PGM的(条件和因果)推理能力的自然选择。在过去的几年中,BDL在推荐系统、主题模型、随机最优控制、计算机视觉、自然语言处理、医疗保健等各个领域都有成功的应用。在未来,我们不仅可以对现有的应用进行更深入的研究,还可以对更复杂的任务进行探索。此外,最近在高效BNN (BDL的感知组件)方面的进展也为进一步提高BDL的可扩展性奠定了基础。

成为VIP会员查看完整内容
0
73

作为布尔逻辑的替代

虽然逻辑是理性推理的数学基础和计算的基本原理,但它仅限于信息既完整又确定的问题。然而,许多现实世界的问题,从金融投资到电子邮件过滤,本质上是不完整或不确定的。概率论和贝叶斯计算共同提供了一个处理不完整和不确定数据的框架。

不完全和不确定数据的决策工具和方法

贝叶斯编程强调概率是布尔逻辑的替代选择,它涵盖了为真实世界的应用程序构建概率程序的新方法。本书由设计并实现了一个高效概率推理引擎来解释贝叶斯程序的团队编写,书中提供了许多Python示例,这些示例也可以在一个补充网站上找到,该网站还提供了一个解释器,允许读者试验这种新的编程方法。

原则和建模

只需要一个基本的数学基础,本书的前两部分提出了一种新的方法来建立主观概率模型。作者介绍了贝叶斯编程的原理,并讨论了概率建模的良好实践。大量简单的例子突出了贝叶斯建模在不同领域的应用。

形式主义和算法

第三部分综合了已有的贝叶斯推理算法的工作,因为需要一个高效的贝叶斯推理引擎来自动化贝叶斯程序中的概率演算。对于想要了解贝叶斯编程的形式主义、主要的概率模型、贝叶斯推理的通用算法和学习问题的读者,本文提供了许多参考书目。

常见问题

第四部分连同词汇表包含了常见问题的答案。作者比较了贝叶斯规划和可能性理论,讨论了贝叶斯推理的计算复杂性,讨论了不完全性的不可约性,讨论了概率的主观主义和客观主义认识论。

贝叶斯计算机的第一步

创建一个完整的贝叶斯计算框架需要新的建模方法、新的推理算法、新的编程语言和新的硬件。本书着重于方法论和算法,描述了实现这一目标的第一步。它鼓励读者探索新兴领域,例如仿生计算,并开发新的编程语言和硬件架构。

成为VIP会员查看完整内容
0
87

题目: A Game Theoretic Framework for Model Based Reinforcement Learning

摘要: 基于模型的强化学习(MBRL)最近获得了极大的兴趣,因为它具有潜在的样本效率和合并非策略数据的能力。然而,使用富函数逼近器设计稳定、高效的MBRL算法仍然具有挑战性。为了从抽象的角度揭示MBRL的实际挑战并简化算法设计,我们开发了一个新的框架,将MBRL描述为:(1)一个策略参与者,它试图在学习模型下最大化回报;(2)一个模型player,它试图与策略player收集的真实数据相匹配。在算法开发方面,我们构造了一个双方参与的Stackelberg博弈,并证明了它可以用近似的双层优化来解决。这就产生了两种自然的MBRL算法,基于这两种算法,玩家被选择为Stackelberg游戏的领导者。它们一起封装、统一和泛化了许多以前的MBRL算法。此外,我们的框架是一致的,并提供了一个明确的基础启发式已知是重要的实践,从以往的工作。最后,通过实验验证了所提出的算法具有较高的样本效率,匹配无模型策略梯度的渐近性能,并能扩展到灵巧手操作等高维任务。

成为VIP会员查看完整内容
0
33

内容简介这本书的前四章集中在足够的理论和基础,给你,实践者,为这本书剩下的部分一个工作的基础。最后五章将从这些概念出发,带领您通过一系列使用DL4J进行深度学习的实践路径。

  • 建立深度网络
  • 高级调优技术
  • 矢量化不同的数据类型
  • 运行深度学习工作流程的Spark

在本书中,我们交替使用DL4J和Deeplearning4j这两个名称。这两个术语都指的是Deeplearning4j库中的工具套件。

我们以这种方式设计这本书,因为我们觉得有必要让这本书既包含足够的理论,又足够的实际,以构建生产级的深度学习工作流。我们认为,这种混合方法的书的覆盖面适合这个空间。

第一章回顾了机器学习的一般概念,特别是深度学习,让读者快速了解了解本书其余部分所需要的基础知识。我们增加了这一章,因为许多初学者可以使用这些概念的复习或入门,我们想让尽可能多的读者可以访问这个项目。

第2章以第1章的概念为基础,并为您提供了神经网络的基础。它在很大程度上是神经网络理论的一个章节,但是我们的目标是用一种可访问的方式来呈现信息。

第三章在前两章的基础上更进一步,让你了解网络是如何从神经网络的基本原理发展而来的。

第四章介绍了深层网络的四种主要架构,并为本书的其余部分提供了基础。

在第5章中,我们将使用前半部分中的技术,带您浏览一些Java代码示例。

第6章和第7章讨论了调优一般神经网络的基本原理,然后讨论了如何调优深度网络的特定架构。这些章节是平台无关的,将适用于任何深度学习库的实践。

第8章是对矢量化技术和如何使用DataVec (DL4J的ETL和矢量化工作流工具)的基础知识的回顾。

第9章总结了该书的主体部分,回顾了如何在Spark和Hadoop上本地使用DL4J,并举例说明了可以在自己的Spark集群上运行的三个实际示例。

这本书有许多附录章节的主题是相关的,但不适合直接放在主要章节。主题包括:

  • 人工智能
  • 在DL4J项目中使用Maven
  • 使用GPU
  • 使用ND4J API
  • 更多

部分截图:

成为VIP会员查看完整内容
Deep Learning - A Practitioner's Approach.pdf
0
64

​【导读】NeurIPS 2019刚落下帷幕,大会发布了7篇最佳论文,一系列论文和tutorial,涉及很多热点比如图机器学习、元学习、核方法、软硬一体化等。不得不看!NeurIPS 2019三个关键研究热点趋势:贝叶斯、GNN、凸优化。来自东京RIKEN研究中心的Emtiyaz Khan给了关于以贝叶斯原理进行深度学习的教程《Deep Learning with Bayesian Principles》,共有86页ppt,以及撰写了最新的论文,讲述贝叶斯和深度学习如何结合到一起进行学习新算法,提出了一种基于贝叶斯原理的学习规则,它使我们能够连接各种各样的学习算法。利用这一规则,可以在概率图形模型、连续优化、深度学习、强化学习、在线学习和黑盒优化等领域得到广泛的学习算法。非常具有启发性,值得查看!

深度学习和贝叶斯学习被认为是两个完全不同的领域,通常用于互补的设置情景。显然,将这两个领域的思想结合起来是有益的,但鉴于它们的根本区别,我们如何才能做到这一点呢?

本教程将介绍现代贝叶斯原理来填补这一空白。利用这些原理,我们可以推出一系列学习算法作为特例,例如,从经典算法,如线性回归和前向后向算法,到现代深度学习算法,如SGD、RMSprop和Adam。然后,这个视图提供了新的方法来改进深度学习的各个方面,例如,不确定性、健壮性和解释。它也使设计新的方法来解决挑战性的问题,如那些出现在主动学习,持续学习,强化学习等。

总的来说,我们的目标是让贝叶斯和深度学习比以往任何时候都更接近,并激励它们一起工作,通过结合他们的优势来解决具有挑战性的现实问题。

成为VIP会员查看完整内容
0
89

报告题目: Bayesian Deep Learning

报告摘要: 深度神经网络是连接主义系统,通过它通过学习例子来完成任务,而不需要事先了解这些任务。它们可以很容易地扩展到数百万个数据点,并且可以通过随机梯度下降进行优化。贝叶斯方法可以用于学习神经网络权重的概率分布。贝叶斯深度学习与贝叶斯深度学习(如何对DNNs进行贝叶斯推理?如何学习分层结构的贝叶斯模型?),本篇报告给出一定解释。

嘉宾介绍: 朱军博士是清华大学计算机系长聘副教授、智能技术与系统国家重点实验室副主任、卡内基梅隆大学兼职教授。2013年,入选IEEE Intelligent Systems的“人工智能10大新星”(AI’s 10 to Watch)。他主要从事机器学习研究,在国际重要期刊与会议发表学术论文80余篇。担任国际期刊IEEE TPAMI和Artificial Intelligence的编委、国际会议ICML 2014地区联合主席、以及ICML、NIPS等国际会议的领域主席。

成为VIP会员查看完整内容
Bayesian Deep Learning.pdf
0
53

报告主题: Bayesian Deep Learning for Medical

报告摘要: 在过去的几年中,深度学习取得了飞速的发展,从而在许多医学图像分析任务中取得了显着的性能改善,包括解剖标志的检测,病理结果的分类,多个器官的语义分割以及医学报告的自动生成。虽然深度学习的大部分工作都集中在提高最终性能上,但是了解深度网络何时无法正常运行对于许多医疗和保健系统(尤其是那些具有较高安全标准的系统)至关重要。不幸的是,大多数现代深度学习算法无法可靠地估计深度网络的不确定性。如果没有用于模型高度不确定的故障安全模式,则系统可能会具有灾难性的行为,例如缺少明显的异常或包含种族歧视。

最近,人们对将贝叶斯方法与深度神经网络相结合以估计模型预测的置信度越来越感兴趣。尽管传统方法将深度网络视为确定性功能,但该功能只能为输入生成单个输出。相反,贝叶斯深度学习通过考虑训练数据和建模参数固有的随机性来计算每个输入的输出分布。这种分布可以估算输出的置信度。已经证明,基于随机正则化技术(例如丢包或可伸缩的蒙特卡洛干扰)的新方法可以捕获有意义的不确定性,同时可以很好地缩放至高维数据。根据深度学习对贝叶斯技术的重新研究已经产生了许多有希望的结果。

尽管它很重要,但在MICCAI社区中,对该主题的研究仍很少。本教程的目的是通过从理论,实践和未来方向方面全面介绍贝叶斯深度学习方法来弥合差距。该教程将邀请贝叶斯深度学习领域的领先研究人员介绍其最新技术,并深入说明该技术如何应用于选定的一组主题图像检测,分割和放射治疗。最近在2018年神经信息处理系统会议上举行的贝叶斯深度学习研讨会吸引了大量论文和受众。我们的教程有望对MICCAI产生相似的兴趣。

报告流程:

  • 贝叶斯建模与变分推理简介
  • 贝叶斯深度学习
  • 贝叶斯深度网络的不确定性:DropConnect建模有效性
  • 贝叶斯深度学习demo

邀请嘉宾:

Dan Nguyen,德克萨斯大学西南医学中心助理教授。

Pengyu“ Ben” Yuan,休斯顿大学算法(HULA)实验室的博士。他的研究兴趣是元学习和强化学习及其在医学图像分析中的应用。

成为VIP会员查看完整内容
Session1-MICCAI19.pdf
MICCAI_Bayesian_Deep_Learning_Tutorial.pdf
Session3-MC-DropConnect.pdf
0
11

机器学习模型经常被批评是技术黑箱:只要输入数据就能得到正确答案,但却无法对其进行解释。Christoph Molnar在其新书中呼吁大家当前是时候停止将机器学习模型视为黑盒子,在学会运用模型的同时更应去学会分析模型如何做出决策,并给出了将黑盒变得具有可解释性的讨论。

成为VIP会员查看完整内容
0
89
小贴士
相关VIP内容
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
25+阅读 · 7月2日
Emmanuel Bengio,Joelle Pineau,Doina Precup
6+阅读 · 3月13日
Interpretable machine learning: definitions, methods, and applications
W. James Murdoch,Chandan Singh,Karl Kumbier,Reza Abbasi-Asl,Bin Yu
11+阅读 · 2019年1月14日
Bo-Jian Hou,Zhi-Hua Zhou
16+阅读 · 2018年10月25日
Parsimonious Bayesian deep networks
Mingyuan Zhou
3+阅读 · 2018年10月17日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Ryo Takahashi,Ran Tian,Kentaro Inui
3+阅读 · 2018年5月24日
Chiyuan Zhang,Oriol Vinyals,Remi Munos,Samy Bengio
7+阅读 · 2018年4月20日
Quanshi Zhang,Ying Nian Wu,Song-Chun Zhu
13+阅读 · 2018年2月14日
Quanshi Zhang,Song-Chun Zhu
9+阅读 · 2018年2月7日
Top