AAAI2019教程抢先看!《深度贝叶斯与序列学习》,279页PPT带你知晓深度贝叶斯序列模型在NLP最新进展

2019 年 1 月 27 日 专知
AAAI2019教程抢先看!《深度贝叶斯与序列学习》,279页PPT带你知晓深度贝叶斯序列模型在NLP最新进展

【导读】人工智能领域的国际顶级会议 AAAI 2019 即将于 1 月 27 日至 2 月 1 日在美国夏威夷举行。大会一项很重要的内容就是来自世界研究学者给出的关于各方面研究主题的最新Tutorial,是了解最新进展的非常好的材料。来自台湾国立交通大学给了深度贝叶斯与序列学习的报告《 Deep Bayesian and Sequential Learning》,共279页PPT,包含深度贝叶斯学习与深度序列学习等,是非常好的关于深度贝叶斯序列学习教程。


深度贝叶斯与序列学习

网址:

http://chien.cm.nctu.edu.tw/home/aaai-tutorial/

摘要:

本教程介绍自然语言的深度贝叶斯和序列学习的进展,其广泛在语音识别、文档摘要、文本分类、文本分割、信息提取、图像标题生成、句子生成、对话控制、情感分类、推荐系统、问答和机器翻译等。传统上,“深度学习”被认为是基于实值判别模型进行推理或优化的学习过程。从大量词汇表中抽取的单词、句子、实体、动作和文档中的“语义结构”,在数理逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍统计模型和神经网络的基本原理,并专注于一系列先进的贝叶斯模型和深度模型包括分层狄利克雷的过程,中国餐馆的过程,层次Pitman-Yor过程,印度自助过程,递归神经网络,长期短期记忆,sequence-to-sequence模型、变分auto-encoder,生成对抗网络,注意机制,memory-augmented神经网络、随机神经网络,预测状态神经网络、策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。针对复杂模型的优化问题,提出了变分推理和抽样方法。词语和句子的嵌入、聚类和共聚类与语言和语义约束相结合。针对深度贝叶斯学习和理解中的不同问题,提出了一系列的案例研究。最后,我们将指出一些未来研究的方向和展望。

【教程下载】

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“DBSL” 就可以获取《深度贝叶斯与序列学习》教程的下载链接~ 

  • 专知2019年《深度学习:算法到实战》精品课程欢迎扫码报名学习!

教程结构:

本教程的演示分为五个部分。首先,我们分享了自然语言处理、统计建模和深度神经网络的研究现状,并解释了离散值观测和潜在语义深度贝叶斯学习的关键问题。现代自然语言模型用于从语言处理到语义学习和记忆网络的数据分析。其次,我们介绍一些贝叶斯模型,从自然语言中推断出层次、主题和稀疏主题。第三部分介绍了深度展开、贝叶斯递归神经网络、序列到序列学习、卷积神经网络、生成对抗网络和变分自编码器等一系列深度模型。第四部分阐述了深度贝叶斯学习是如何扩展来推断自然语言理解的递归和扩展神经网络的。特别是在语音识别、阅读理解、句子生成、对话系统、问答和机器翻译等实际任务中引入了记忆网络、神经变分学习和马尔科夫神经网络。最后,我们重点讨论了大数据、异构条件和动态系统的未来发展方向和面临的挑战。特别强调深度学习、结构学习、时空建模、长历史表示和随机学习。




-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!460+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
23

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。

台湾交通大学的Jen-Tzung Chien教授在WSDN 2020会议上通过教程《Deep Bayesian Data Mining》介绍了深度贝叶斯数据挖掘的相关知识,涵盖了贝叶斯学习、深度序列学习、深度贝叶斯挖掘和学习等内容。

Jen-Tzung Chien教授在WSDM 2020的教程《Deep Bayesian Data Mining》(《深度贝叶斯数据挖掘》)介绍了面向自然语言的深度贝叶斯挖掘和学习,包括了它的基础知识和进展,以及它无处不在的应用,这些应用包括语音识别、文档摘要、文本分类、文本分割、信息抽取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、自动问答和机器翻译等。

从传统上,“深度学习”被认为是一个学习过程,过程中的推断和优化都使用基于实数的判别模型。然而,从大量语料中提取出的词汇、句子、实体、行为和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地被这种方式表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能不能被正确分解或估计。

该教程介绍了统计模型和神经网络的基础,并聚焦于一系列先进的贝叶斯模型和深度模型,包括层次狄利克雷过程、中国餐馆过程、递归神经网络、长短期记忆网络、序列到序列模型、变分自编码器、生成式对抗网络、策略神经网络等。教程还介绍了增强的先验/后验表示。教程展示了这些模型是如何连接的,以及它们为什么适用于自然语言中面向符号和复杂模式的各种应用程序。

变分推断和采样被提出解决解决复杂模型的优化问题。词和句子的嵌入、聚类和联合聚类被语言和语义约束合并。针对深度贝叶斯挖掘、搜索、学习和理解中的不同问题,一系列的案例研究、任务和应用被提出。最后,教程指出一些未来研究的方向和展望。教程旨在向初学者介绍深度贝叶斯学习中的主要主题,激发和解释它对数据挖掘和自然语言理解正在浮现的重要性,并提出一种结合不同的机器学习工作的新的综合方法。

教程的内容大致如下:

  • 简介
    • 动机和背景
    • 概率模型
    • 神经网络
  • 贝叶斯学习
    • 推断和优化
    • 变分贝叶斯推断
    • 蒙特卡罗马尔科夫链推断
  • 深度序列学习
    • 深度非展开主题模型
    • 门递归神经网络
    • 贝叶斯递归神经网络
    • 记忆增强神经网络
    • 序列到序列学习
    • 卷积神经网络
    • 扩增神经网络
    • 基于Transformer的注意力网络
  • 深度贝叶斯挖掘和学习
    • 变分自编码器
    • 变分递归自编码器
    • 层次变分自编码器
    • 随机递归神经网络
    • 正则递归神经网络
    • 跳跃递归神经网络
    • 马尔科夫递归神经网络
    • 时间差分变分自编码器
    • 未来挑战和发展
  • 总结和未来趋势

完整教程下载

请关注专知公众号(点击上方蓝色专知关注) 后台回复“DBDM20” 就可以获取完整教程PDF的下载链接~

教程部分内容如下所示:

参考链接:

http://chien.cm.nctu.edu.tw/home/wsdm-tutorial/

-END- 专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),获取专知VIP会员码,加入专知人工智能主题群,咨询技术商务合作~

点击“阅读原文”,了解注册使用专知

成为VIP会员查看完整内容
0
77

讲座题目

深层贝叶斯挖掘、学习与理解:Deep Bayesian Mining, Learning and Understanding

讲座简介

本教程介绍了自然语言的深度贝叶斯学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图像字幕生成、句子生成、对话控制、情感分类、推荐系统,问答和机器翻译,举几个例子。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、中餐馆过程、分层Pitman-Yor过程、印度自助餐过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码器,生成对抗网络,注意机制,记忆增强神经网络,跳跃神经网络,随机神经网络,预测状态神经网络,策略神经网络。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的案例研究,以解决深度贝叶斯挖掘、学习和理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

讲座嘉宾

Jen-Tzung Chien,詹增建于一九九七年获中华民国新竹国立清华大学电机工程博士学位。现任台湾新竹国立交通大学电机与电脑工程系及电脑科学系主任教授。2010年,他在纽约约克敦高地IBM T.J.沃森研究中心担任客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。

成为VIP会员查看完整内容
0
42

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
41

教程题目:Deep Bayesian Natural Language Processing

教程简介

这个教学讲座将会介绍用于自然语言处理的深度贝叶斯学习的发展,以及它在语音识别、文本总结、文本分类、文本分割、信息提取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答、机器翻译等等许多任务中的广泛应用。传统上,“深度学习”被认为是一个基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的词汇、句子、实体、动作和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能没有被正确分解或估计。

本教程介绍了统计模型和神经网络的基础知识,并将重点讲解一系列高级的贝叶斯模型以及深度模型。这些模型之间的联系、能在自然语言的许多符号化表示和复杂模式中发挥作用的原因也会得到介绍。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。

为解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚被语言和语义约束合并。提出了一系列的案例研究来解决深度贝叶斯学习和理解中的不同问题。最后,指出了一些未来研究的方向和展望。

组织者:

Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
[2019] ACL tutorial-Deep Bayesian Natural Language Processing.pdf
0
32
小贴士
相关论文
Efficiently Embedding Dynamic Knowledge Graphs
Tianxing Wu,Arijit Khan,Huan Gao,Cheng Li
6+阅读 · 2019年10月15日
Attention Forcing for Sequence-to-sequence Model Training
Qingyun Dou,Yiting Lu,Joshua Efiong,Mark J. F. Gales
5+阅读 · 2019年9月26日
Sequential Scenario-Specific Meta Learner for Online Recommendation
Zhengxiao Du,Xiaowei Wang,Hongxia Yang,Jingren Zhou,Jie Tang
8+阅读 · 2019年6月2日
Tassilo Klein,Moin Nabi
3+阅读 · 2019年5月31日
DSKG: A Deep Sequential Model for Knowledge Graph Completion
Lingbing Guo,Qingheng Zhang,Weiyi Ge,Wei Hu,Yuzhong Qu
3+阅读 · 2018年12月30日
A Probe into Understanding GAN and VAE models
Jingzhao Zhang,Lu Mi,Macheng Shen
6+阅读 · 2018年12月13日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
Hai Pham,Thomas Manzini,Paul Pu Liang,Barnabas Poczos
4+阅读 · 2018年8月6日
Aleksandar Bojchevski,Stephan Günnemann
4+阅读 · 2018年2月27日
Chung-Cheng Chiu,Tara N. Sainath,Yonghui Wu,Rohit Prabhavalkar,Patrick Nguyen,Zhifeng Chen,Anjuli Kannan,Ron J. Weiss,Kanishka Rao,Ekaterina Gonina,Navdeep Jaitly,Bo Li,Jan Chorowski,Michiel Bacchiani
6+阅读 · 2018年1月18日
Top