【ACL2019】深度贝叶斯自然语言处理,304页ppt带你了解最新研究进展

2019 年 7 月 31 日 专知
【ACL2019】深度贝叶斯自然语言处理,304页ppt带你了解最新研究进展

【导读】本文为大家带来了ACL2019的最新教程,全面介绍深度贝叶斯方法在自然语言处理领域的应用。


介绍:


本入门教程介绍了NLP深度贝叶斯学习的最新研究进展,此类进展可应用于:语音识别、文本摘要、文本分类、文本分割、信息提取、图片标题生产、句子生成、对话控制、情感分类、推荐系统等问题中。从传统上说,“深度学习”被认为是一种学习的过程,其中的推理或优化环节,是通过real-valued deterministic模型实现的。从大型词表中提取出的单词、句子、实体、动作等语义结构,难以在数学或计算机程序中得到很好的表达。用于NLP的离散或连续隐变量模型中的“分布函数”可能无法被适当地分解或估计。


本教程将介绍统计模型与神经网络的基础知识,重点介绍一系列先进的贝叶斯模型和深层模型,包括层次Dirichlet过程、chinese restaurant process、 hierarchical Pitman-Yor process、Indian buffer process、循环神经网络、长短期记忆模型、seq2seq模型、变分自编码器、生成式对抗网络、注意力机制、增强记忆神经网络、skip神经网络、随机神经网络、策略神经网络和马尔可夫递归神经网络。我们将介绍这些模型的连接方式,以及为什么它们适用于自然语言中符号和复杂模式的各种应用。最后介绍了一系列的案例研究,以解决深度贝叶斯学习中的不同问题。最后,我们将指出未来研究的一些方向和展望。

请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“ACL2019DBNLP” 就可以获取《深度贝叶斯自然语言处理的下载链接~ 

教程大纲:

  • 介绍

    • 背景与动机

    • 概率模型

    • 神经网络

  • 贝叶斯学习

    • 推断与优化

    • 变分贝叶斯推断

    • 蒙特卡洛马尔可夫链推断

    • 贝叶斯非参

    • 层次主题模型

    • Nested Indian buffet process

  • 深度序列学习

    • deep unfolded主题模型

    • 门式递归神经网络

    • 贝叶斯递归神经网络

    • 记忆增强神经网络

    • seq2seq学习

    • 卷积神经网络

    • 扩大神经网络

    • 注意力网络与transformer

  • 深度贝叶斯序列学习

    • 变分自编码器

    • 变分递归自编码器

    • 层次变分自编码器

    • 随机递归神经网络

    • 正规递归神经网络

    • skip递归神经网络

    • 马尔可夫递归神经网络

    • 时序差分变分自编码器

    • 未来的挑战以及优势


附PPT内容预览:

更多精彩内容,请关注公众号下载观看!

-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
0

相关内容

递归神经网络(RNN)是神经网络的一种。单纯的RNN因为无法处理随着递归,权重指数级爆炸或梯度消失问题,难以捕捉长期时间关联;而结合不同的LSTM可以很好解决这个问题。 时间递归神经网络可以描述动态时间行为,因为和前馈神经网络(feedforward neural network)接受较特定结构的输入不同,RNN将状态在自身网络中循环传递,因此可以接受更广泛的时间序列结构输入。手写识别是最早成功利用RNN的研究结果。

【导读】这一份最新216页的ppt概述《深度学习自然语言处理》,包括神经网络基础,词向量表示,序列句子表示,分类标注、生成句子,预训练。

成为VIP会员查看完整内容
0
54

台湾交通大学的Jen-Tzung Chien教授在WSDN 2020会议上通过教程《Deep Bayesian Data Mining》介绍了深度贝叶斯数据挖掘的相关知识,涵盖了贝叶斯学习、深度序列学习、深度贝叶斯挖掘和学习等内容。

Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》(《深度贝叶斯数据挖掘》)介绍了面向自然语言的深度贝叶斯挖掘和学习,包括了它的基础知识和进展,以及它无处不在的应用,这些应用包括语音识别、文档摘要、文本分类、文本分割、信息抽取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、自动问答和机器翻译等。

从传统上,“深度学习”被认为是一个学习过程,过程中的推断和优化都使用基于实数的判别模型。然而,从大量语料中提取出的词汇、句子、实体、行为和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地被这种方式表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能不能被正确分解或估计。

该教程介绍了统计模型和神经网络的基础,并聚焦于一系列先进的贝叶斯模型和深度模型,包括层次狄利克雷过程、中国餐馆过程、递归神经网络、长短期记忆网络、序列到序列模型、变分自编码器、生成式对抗网络、策略神经网络等。教程还介绍了增强的先验/后验表示。教程展示了这些模型是如何连接的,以及它们为什么适用于自然语言中面向符号和复杂模式的各种应用程序。

变分推断和采样被提出解决解决复杂模型的优化问题。词和句子的嵌入、聚类和联合聚类被语言和语义约束合并。针对深度贝叶斯挖掘、搜索、学习和理解中的不同问题,一系列的案例研究、任务和应用被提出。最后,教程指出一些未来研究的方向和展望。教程旨在向初学者介绍深度贝叶斯学习中的主要主题,激发和解释它对数据挖掘和自然语言理解正在浮现的重要性,并提出一种结合不同的机器学习工作的新的综合方法。

教程的内容大致如下:

  • 简介
    • 动机和背景
    • 概率模型
    • 神经网络
  • 贝叶斯学习
    • 推断和优化
    • 变分贝叶斯推断
    • 蒙特卡罗马尔科夫链推断
  • 深度序列学习
    • 深度非展开主题模型
    • 门递归神经网络
    • 贝叶斯递归神经网络
    • 记忆增强神经网络
    • 序列到序列学习
    • 卷积神经网络
    • 扩增神经网络
    • 基于Transformer的注意力网络
  • 深度贝叶斯挖掘和学习
    • 变分自编码器
    • 变分递归自编码器
    • 层次变分自编码器
    • 随机递归神经网络
    • 正则递归神经网络
    • 跳跃递归神经网络
    • 马尔科夫递归神经网络
    • 时间差分变分自编码器
    • 未来挑战和发展
  • 总结和未来趋势

完整教程下载

请关注专知公众号(点击上方蓝色专知关注) 后台回复“DBDM20” 就可以获取完整教程PDF的下载链接~

教程部分内容如下所示:

参考链接:

http://chien.cm.nctu.edu.tw/home/wsdm-tutorial/

-END- 专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~

点击“阅读原文”,了解注册使用专知

成为VIP会员查看完整内容
0
63
小贴士
相关论文
Tutorial on NLP-Inspired Network Embedding
Boaz Shmueli
3+阅读 · 2019年10月16日
Kazuki Irie,Albert Zeyer,Ralf Schlüter,Hermann Ney
4+阅读 · 2019年7月11日
Sequential Scenario-Specific Meta Learner for Online Recommendation
Zhengxiao Du,Xiaowei Wang,Hongxia Yang,Jingren Zhou,Jie Tang
6+阅读 · 2019年6月2日
Neural Speech Synthesis with Transformer Network
Naihan Li,Shujie Liu,Yanqing Liu,Sheng Zhao,Ming Liu,Ming Zhou
4+阅读 · 2019年1月30日
Stefan Constantin,Jan Niehues,Alex Waibel
3+阅读 · 2018年12月17日
Jean-Marc Valin,Jan Skoglund
3+阅读 · 2018年10月28日
Antoine J. -P. Tixier
8+阅读 · 2018年8月30日
End-to-end Speech Recognition with Word-based RNN Language Models
Takaaki Hori,Jaejin Cho,Shinji Watanabe
3+阅读 · 2018年8月8日
KiJung Yoon,Renjie Liao,Yuwen Xiong,Lisa Zhang,Ethan Fetaya,Raquel Urtasun,Richard Zemel,Xaq Pitkow
3+阅读 · 2018年5月25日
Chung-Cheng Chiu,Tara N. Sainath,Yonghui Wu,Rohit Prabhavalkar,Patrick Nguyen,Zhifeng Chen,Anjuli Kannan,Ron J. Weiss,Kanishka Rao,Ekaterina Gonina,Navdeep Jaitly,Bo Li,Jan Chorowski,Michiel Bacchiani
5+阅读 · 2018年1月18日
Top