COLING2018 深度贝叶斯学习最新教程:299页PPT带你回顾深度贝叶斯学习最新发展脉络

【导读】近日,计算语言学领域的顶级国际会议COLING (计算语言学国际会议)已于 8 月 20日在美国新墨西哥州圣达菲市召开。在这次会议上,来自中国台湾新竹国立交通大学的老师Jen-Tzung Chien分享了《深度贝叶斯学习和理解 》这一Tutorial。


这套PPT由浅入深地介绍了当前比较火热的深度贝叶斯学习。介绍了如何结合贝叶斯以及神经网络处理一系列NLP问题,最后介绍了深度语言理解的未来方向,值得大家收藏和学习。


本教程的介绍分为五个部分。


第一部分,分享自然语言理解,统计建模和深度神经网络的研究现状,并解释深度贝叶斯学习中离散值观测数据和潜在语义的关键问题。引入了一种称为符号神经学习的新范例,将数据分析从语言处理扩展到语义学习和记忆网络。


第二部分,探讨了许多贝叶斯模型,从潜在变量模型到变分贝叶斯推理,采样方法和贝叶斯非参学习,以及这些模型用于自然语言的层次性,话题性和稀疏性主题。


第三部分,介绍了deep unfolding,RNN,序列到序列学习,卷积神经网络,GAN和VAE等一系列深度模型。


接下来,第四部分重点介绍各种前沿研究,这些研究说明了深度贝叶斯学习是如何发展演变的,来对自然语言理解的一系列复杂循环模型进行推断学习的。特别地,记忆网络、序列GAN、neural variational learning、neural discrete representation和强化学习被引入到各种深度模型中,为阅读理解、句子生成和对话系统等更实际的任务打开了一扇窗。


在最后一部分中,重点介绍了深度语言理解的未来方向,这些方向可以应对大数据,异构条件和动态系统的挑战。特别是,将强调深度学习,结构学习,时间建模,长历史表示(long history representation )和随机学习(stochastic learning)。


COLING 2018,即2018年计算语言学国际会议(International Conference on Computational Linguistics),是计算语言学领域的顶级国际会议,由国际计算语言学学会(International Committee on Computational Linguistics, ICCL)主办,从1965年开始每两年举办一届。


作者:Jen-Tzung Chien

编译:专知


介绍


本教程将介绍深度贝叶斯学习的一些进展,包括许多自然语言处理方面的应用,从语音识别到文档摘要、文本分类、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答和机器翻译等。传统上,“深度学习”被认为是一种学习过程,其中推理或优化是基于实值确定性模型。从大词汇表中提取的单词,句子,实体,动作和文档中的“语义结构”可能无法在数学逻辑或计算机程序中很好地表达或正确优化。用于自然语言的离散或连续潜变量模型中的“分布函数”可能无法在模型推断中被适当地分解或估计。


本教程将介绍统计模型和神经网络的基础知识,并重点介绍一系列前沿的深度贝叶斯模型,包括分层狄利克雷过程,中餐馆模型,分层Pitman-Yor过程,印度自助模型,递归神经网络(RNN),长短期记忆,sequence-to-sequence模型、变分自编码器(VAE),生成对抗网络(GAN),注意力机制,记忆增强神经网络(memory-augmented neural network), stochastic 神经网络、predictive 神经网络、策略梯度和强化学习。


我们将介绍这些模型之间的联系,以及为什么它们适用于自然语言中符号和复杂模式的各种应用。为解决这些复杂模型的优化问题,提出了变分推理和采样方法。单词和句子嵌入、聚类和共聚将与语言和语义约束结合进行学习。本课程将介绍一系列案例研究,以解决深度贝叶斯学习和理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“COLING2018DBL” 就可以获取最新PPT 下载链接~ 


参考链接:

http://chien.cm.nctu.edu.tw/home/coling/


附PPT:

由于PPT内容比较多,没有附全,所有PPT查看:


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“COLING2018DBL” 就可以获取最新PPT 下载链接~ 


参考链接

http://chien.cm.nctu.edu.tw/home/coling/


-END-

专 · 知


人工智能领域26个主题知识资料全集获取与加入专知人工智能服务群: 欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!



请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!


请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~

 AI 项目技术 & 商务合作:bd@zhuanzhi.ai, 或扫描上面二维码联系!

请关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员