【ACL2019】深度贝叶斯自然语言处理,304页ppt带你了解最新研究进展

2019 年 7 月 31 日 专知

【导读】本文为大家带来了ACL2019的最新教程,全面介绍深度贝叶斯方法在自然语言处理领域的应用。


介绍:


本入门教程介绍了NLP深度贝叶斯学习的最新研究进展,此类进展可应用于:语音识别、文本摘要、文本分类、文本分割、信息提取、图片标题生产、句子生成、对话控制、情感分类、推荐系统等问题中。从传统上说,“深度学习”被认为是一种学习的过程,其中的推理或优化环节,是通过real-valued deterministic模型实现的。从大型词表中提取出的单词、句子、实体、动作等语义结构,难以在数学或计算机程序中得到很好的表达。用于NLP的离散或连续隐变量模型中的“分布函数”可能无法被适当地分解或估计。


本教程将介绍统计模型与神经网络的基础知识,重点介绍一系列先进的贝叶斯模型和深层模型,包括层次Dirichlet过程、chinese restaurant process、 hierarchical Pitman-Yor process、Indian buffer process、循环神经网络、长短期记忆模型、seq2seq模型、变分自编码器、生成式对抗网络、注意力机制、增强记忆神经网络、skip神经网络、随机神经网络、策略神经网络和马尔可夫递归神经网络。我们将介绍这些模型的连接方式,以及为什么它们适用于自然语言中符号和复杂模式的各种应用。最后介绍了一系列的案例研究,以解决深度贝叶斯学习中的不同问题。最后,我们将指出未来研究的一些方向和展望。

请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“ACL2019DBNLP” 就可以获取《深度贝叶斯自然语言处理的下载链接~ 

教程大纲:

  • 介绍

    • 背景与动机

    • 概率模型

    • 神经网络

  • 贝叶斯学习

    • 推断与优化

    • 变分贝叶斯推断

    • 蒙特卡洛马尔可夫链推断

    • 贝叶斯非参

    • 层次主题模型

    • Nested Indian buffet process

  • 深度序列学习

    • deep unfolded主题模型

    • 门式递归神经网络

    • 贝叶斯递归神经网络

    • 记忆增强神经网络

    • seq2seq学习

    • 卷积神经网络

    • 扩大神经网络

    • 注意力网络与transformer

  • 深度贝叶斯序列学习

    • 变分自编码器

    • 变分递归自编码器

    • 层次变分自编码器

    • 随机递归神经网络

    • 正规递归神经网络

    • skip递归神经网络

    • 马尔可夫递归神经网络

    • 时序差分变分自编码器

    • 未来的挑战以及优势


附PPT内容预览:

更多精彩内容,请关注公众号下载观看!

-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
0+

相关内容

递归神经网络(RNN)是神经网络的一种。单纯的RNN因为无法处理随着递归,权重指数级爆炸或梯度消失问题,难以捕捉长期时间关联;而结合不同的LSTM可以很好解决这个问题。 时间递归神经网络可以描述动态时间行为,因为和前馈神经网络(feedforward neural network)接受较特定结构的输入不同,RNN将状态在自身网络中循环传递,因此可以接受更广泛的时间序列结构输入。手写识别是最早成功利用RNN的研究结果。

讲座题目

深层贝叶斯挖掘、学习与理解:Deep Bayesian Mining, Learning and Understanding

讲座简介

本教程介绍了自然语言的深度贝叶斯学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图像字幕生成、句子生成、对话控制、情感分类、推荐系统,问答和机器翻译,举几个例子。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、中餐馆过程、分层Pitman-Yor过程、印度自助餐过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码器,生成对抗网络,注意机制,记忆增强神经网络,跳跃神经网络,随机神经网络,预测状态神经网络,策略神经网络。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的案例研究,以解决深度贝叶斯挖掘、学习和理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

讲座嘉宾

Jen-Tzung Chien,詹增建于一九九七年获中华民国新竹国立清华大学电机工程博士学位。现任台湾新竹国立交通大学电机与电脑工程系及电脑科学系主任教授。2010年,他在纽约约克敦高地IBM T.J.沃森研究中心担任客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。

成为VIP会员查看完整内容
16+
0+

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
17+
0+

教程题目:Deep Bayesian Natural Language Processing

教程简介

这个教学讲座将会介绍用于自然语言处理的深度贝叶斯学习的发展,以及它在语音识别、文本总结、文本分类、文本分割、信息提取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答、机器翻译等等许多任务中的广泛应用。传统上,“深度学习”被认为是一个基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的词汇、句子、实体、动作和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能没有被正确分解或估计。

本教程介绍了统计模型和神经网络的基础知识,并将重点讲解一系列高级的贝叶斯模型以及深度模型。这些模型之间的联系、能在自然语言的许多符号化表示和复杂模式中发挥作用的原因也会得到介绍。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。

为解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚被语言和语义约束合并。提出了一系列的案例研究来解决深度贝叶斯学习和理解中的不同问题。最后,指出了一些未来研究的方向和展望。

组织者:

Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
[2019] ACL tutorial-Deep Bayesian Natural Language Processing.pdf
17+
0+
Top