报告题目: Discreteness in Neural Natural Language Processin

报告摘要: 本教程对神经NLP离散化过程提供了全面的介绍。首先,我们将简要介绍基于NLP的深度学习的背景,指出自然语言普遍存在的离散性及其在神经信息处理中的挑战。特别地,我们将集中在这样的离散性如何在一个神经网络的输入空间、潜在空间和输出空间中发挥作用。在每个部分中,我们将提供示例,讨论机器学习技术,并演示NLP应用程序。

*邀请嘉宾: Lili Mou博士是阿尔伯塔大学计算机科学系的助理教授。Lili分别于2012年和2017年在北京大学EECS学院获得了学士和博士学位。之后,他在滑铁卢大学(University of Waterloo)担任博士后,并在Adeptmind(加拿大多伦多的一家初创公司)担任研究科学家。他的研究兴趣包括应用于自然语言处理以及编程语言处理的深度学习。他在顶级会议和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母顺序)。

周浩是Bytedance AI实验室的研究员 ,从事自然语言处理。2017年获得南京大学计算机科学博士学位。他的研究兴趣是机器学习及其在自然语言处理中的应用。目前,他专注于自然语言生成的深度生成模型。

李磊博士是今日头条的研究科学家和今日头条实验室的主任。Lei拥有上海交通大学计算机科学与工程学士学位(ACM类)和博士学位。分别从卡内基梅隆大学获得计算机科学博士学位。他的有关挖掘共同演化时间序列的快速算法的论文工作被ACM KDD授予最佳论文奖(排名提高)。在加入头条之前,他曾在百度的硅谷深度学习研究所担任首席研究科学家(“少帅学者”)。在此之前,他曾在Microsoft Research(亚洲和Redmond),Google(Mountain View)和IBM(TJ Watson Reserch Center)工作过。在加入百度之前,他曾在加州大学伯克利分校的EECS部门担任博士后研究员。他的研究兴趣在于深度学习,统计推断,自然语言理解和时间序列分析。他曾在ICML 2014,ECML / PKDD 2014/2015,SDM 2013/2014,IJCAI 2011/2013/2016,KDD 2015 / 2016、2017 KDD Cup联合主席的程序委员会中任职,并在2014年暑期学校担任讲师促进机器学习的概率编程研究。他发表了30多篇技术论文,并拥有3项美国专利。

成为VIP会员查看完整内容
0
23

相关内容

卡耐基梅隆大学(Carnegie Mellon University)坐落在宾夕法尼亚州的匹兹堡,是一所享誉世界的私立顶级研究型大学,学校面积不大,学科门类不多,但在其所设立的几乎所有专业都居于世界领先水平。卡内基梅隆大学享誉全国的认知心理学、管理和公共关系学、写作和修辞学、应用历史学、哲学和生物科学专业。它的计算机、机器人科学、理学、美术及工业管理都是举世公认的一流专业。

内容简介:

生成对抗网络(GAN)是训练模型的新思想,生成器和鉴别器相互对抗以提高生成质量。最近,GAN在图像生成方面取得了惊人的成果,并在此基础上迸发发了大量新的思想,技术和应用。虽然只有少数成功的案例,但GAN在文本和语音领域具有很大的潜力,以克服传统方法的局限性。

本教程分为三个部分。在第一部分中,我们将介绍生成对抗网络(GAN)并提供有关此技术的全面介绍。在第二部分中,我们将重点介绍GAN在语音信号处理中的应用,包括语音增强,语音转换,语音合成,以及域对抗训练在说话人识别和唇读等方面的应用。在第三部分中,我们将描述GAN生成句子的主要挑战,并回顾一系列应对挑战的方法。同时,我们将提出使用GAN实现文本样式转换,机器翻译和抽象摘要的算法,而无需配对数据。

讲者简介: 李宏毅教授分别于2010年和2012年在国立台湾大学获得了硕士与博士学位。2012年9月至2013年8月,他是中国科学院信息技术创新研究中心的博士后。2013年9月至2014年7月,他是麻省理工学院计算机科学与人工智能实验室(CSAIL)语言系统组的访问科学家。现任国立台湾大学电气工程系助理教授,并任职于该大学计算机科学与信息工程系。他的研究重点是机器学习(尤其是深度学习),口语理解和语音识别。

曹昱副研究员分别于1999年和2001年获得台湾大学电子工程学士学位和硕士学位。他于2008年获得佐治亚理工学院电气与计算机工程博士学位. 2009至2011年,曹博士是日本国家信息与通信技术研究所(NICT)的研究员,从事自动语音研究和产品开发,识别多语言语音到语音翻译。目前,他是台湾台北中央研究院信息技术创新研究中心(CITI)的副研究员。他于2017年获得了中央研究院职业发展奖。曹博士的研究兴趣包括语音和说话人识别,声学和语言建模,音频编码和生物信号处理。

目录: GAN的基本思想及一些基础的理论知识

  • GAN的三种类别
  • GAN的基本理论
  • 一些有用的技巧
  • 如何评估GAN
  • 与强化学习的关系

GAN在语音方面的应用

  • 语音信号生成
  • 语音信号识别
  • 结论

GAN在自然语言处理方面的应用

  • GAN序列生成
  • 无监督条件序列生成
成为VIP会员查看完整内容
0
73

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
50

教程题目:Deep Bayesian Natural Language Processing

教程简介

这个教学讲座将会介绍用于自然语言处理的深度贝叶斯学习的发展,以及它在语音识别、文本总结、文本分类、文本分割、信息提取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答、机器翻译等等许多任务中的广泛应用。传统上,“深度学习”被认为是一个基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的词汇、句子、实体、动作和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能没有被正确分解或估计。

本教程介绍了统计模型和神经网络的基础知识,并将重点讲解一系列高级的贝叶斯模型以及深度模型。这些模型之间的联系、能在自然语言的许多符号化表示和复杂模式中发挥作用的原因也会得到介绍。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。

为解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚被语言和语义约束合并。提出了一系列的案例研究来解决深度贝叶斯学习和理解中的不同问题。最后,指出了一些未来研究的方向和展望。

组织者:

Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
[2019] ACL tutorial-Deep Bayesian Natural Language Processing.pdf
0
36

报告主题: 表示学习--自然语言处理中的图神经网络(Graph Neural Networks in NLP)

报告摘要: 图神经网络可以通过节点间的信息传递有效地捕捉结构信息。自该概念提出以来,图神经网络技术已经在自然语言处理、数据挖掘等多个领域得到了广泛的应用。此次报告讲述了自然语言处理中的图神经网络,首先介绍了几种自然语言处理中的图形结构并提出了一些在自然语言处理中所遇到的图形问题,然后介绍了图形表示的三种主要模型以及使用图形编码解决问题:神经机器翻译、文本生成、问题回答、信息提取、情绪、社会分类、语义分析、语义角色标记、单词嵌入、句子表示。

邀请嘉宾: 张岳,博士,西湖大学长聘副教授。研究领域包括自然语言处理和计算金融。2003年于清华大学获得计算机科学学士学位,2006年于英国牛津大学获得计算机科学硕士学位,2009年于英国牛津大学获得计算机科学博士学位,2010年-2012年在英国剑桥大学从事博士后研究,2012年-2018年在新加坡科技与设计大学担任助理教授。目前已在国际、国内顶级学术会议上发表论文百余篇,曾获得IALP 2017和COLING 2018最佳论文奖、NLPCC青年新锐奖,且他的研究成果持续被谷歌、阿里巴巴、美国教育考试服务中心(ETS)等顶尖企业应用于工业生产前线。担任Transactions of ACL执行主编,ACM Transactions on Asian and Low Resource Language Information Processing副主编,IEEE Transactions on Big Data副主编,以及COLING 2014/18,NAACL 2015/19,EMNLP 2015/17/19,ACL 2017/18/19等国际学会会议的区域主席。

成为VIP会员查看完整内容
0
36

摘要:在这次演讲中,我将带领听众回顾我在建立神经序列模型方面的早期和近期经历。我从早期使用循环网络进行seq2seq学习的经验出发,讨论了注意机制。我讨论了这些早期方法成功背后的因素,以及这些方法是如何被社区所接受的,甚至是在它们还没有成型之前。然后,我会转向讲非常规神经序列模型的最新研究方向以及该模型可以自动学习确定生成的顺序。

报告人简介:Kyunghyun Cho是纽约大学计算机科学和数据科学副教授,也是Facebook人工智能研究中心的研究科学家。在2015年夏之前,他一直是蒙特利尔大学的博士后研究员,在yobengio教授的指导下,并于2014年初在Juha Karhunen教授、Tapani Raiko博士和Alexander Ilin博士的指导下获得了阿尔托大学的博士和硕士学位。

成为VIP会员查看完整内容
0
17

课程介绍:

本课程介绍用于自然语言处理(NLP)的深度学习(DL)技术。与其他DL4NLP课程相反,我们将在一些讲座中对所有神经体系结构(例如CNN,RNN,注意力)进行一次旋风之旅。 然后,我们将在使用贝叶斯和马尔可夫网络学习结构化预测方面做出巨大的努力,并应用顺序标注,句法解析和句子生成。 在这个过程中,我们还将看到如何将这些传统方法与简单的神经网络相结合并加以改进。

主讲人:

Lili Mou博士是阿尔伯塔大学计算机科学系的助理教授。Lili分别于2012年和2017年在北京大学EECS学院获得了学士和博士学位。之后,他在滑铁卢大学(University of Waterloo)担任博士后,并在Adeptmind(加拿大多伦多的一家初创公司)担任研究科学家。他的研究兴趣包括应用于自然语言处理以及编程语言处理的深度学习。他在顶级会议和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母顺序)。

课程大纲:

神经网络基础

  • 分类任务与分类器
  • 深度神经网络
  • Embedding
  • 结构化输入表示

结构化预测

  • 贝叶斯网络
  • 马尔科夫网络与条件随机场
  • 语法解析

句子生成

  • 变分自编码器
  • 抽样与随机搜索

离散空间

  • NLP中的强化学习
  • 强化学习的神经松弛
成为VIP会员查看完整内容
0
15

本书的目标是集中在自然语言处理的核心子集,由学习和搜索的概念统一。自然语言处理中的大量问题都可以通过搜索方法来解决。

搜索:Viterbi, CKY,最小生成树, shift-reduce,整数线性规划,定向搜索。 学习:最大似然估计,逻辑回归,感知器,期望最大化,矩阵分解,反向传播。

本书解释了这些方法如何工作,以及如何将它们应用于广泛的任务:文档分类、词义消歧、词性标记、命名实体识别、解析、共引用解析、关系提取、语义分析、语言建模和机器翻译。

成为VIP会员查看完整内容
0
29

主题: Neural Approaches to Conversational AI

摘要: 开发一个智能对话系统,不仅可以模拟人类对话,还可以回答从电影明星的最新消息到爱因斯坦的相对论等各种主题的问题,并完成旅行计划等复杂任务,一直是人工智能最长的目标之一。这一目标直到最近才实现。随着大量的会话数据可用于训练,深度学习(DL)和强化学习(RL)的突破被应用到会话人工智能中,我们在学术界和工业界都看到了有希望的结果。在本教程中,我们首先简要介绍与对话人工智能相关的DL和RL的最新进展。然后,我们详细描述了为三种对话系统或机器人开发的最先进的神经方法。第一个是问答机器人。QA bot具有从各种数据源(包括Web文档和预编译的知识图)中提取的丰富知识,可以为用户查询提供简洁直接的答案。第二个是面向任务的对话系统,它可以帮助用户完成从会议安排到假期计划等任务。第三种是社交聊天聊天机器人,它能与人进行无缝、恰当的对话,经常扮演聊天伙伴和推荐者的角色。

邀请嘉宾: Michel Galley是微软研究人工智能的高级研究员。他的研究兴趣在自然语言处理和机器学习领域,特别关注会话人工智能、神经生成、统计机器翻译和总结。他获得了哥伦比亚大学的硕士和博士学位,并获得了电子计算机科学学士学位。在加入微软研究之前,他是斯坦福大学计算机系的研究助理。他还是南加州大学/国际科学院NLP小组和贝尔实验室口语对话系统小组的定期访问研究员。他与人合著了50多篇科学论文,其中许多出现在顶级的NLP、AI和ML会议上。其中两份出版物是最佳论文决赛(NAACL 2010,EMNLP 2013)。他还担任全国人民解放大会(ACL、NAACL、EMNLP)的地区主席,并在SIGIR和IJCAI担任高级PC成员。

高剑锋是微软人工智能研究院的合作伙伴研究经理。他领导了人工智能系统的开发,用于机器阅读理解(MRC)、问答(QA)、社交机器人、目标导向对话和商业应用。2014年至2017年,他担任微软研究院(Microsoft Research)深度学习技术中心(Deep Learning Technology Center)的合作研究经理,领导文本和图像处理深度学习研究。从2006年到2014年,他是微软研究中心(Microsoft Research)自然语言处理组的首席研究员,主要从事网络搜索、查询理解和重组、广告预测和统计机器翻译。从2005年到2006年,他是微软自然交互服务部门的一名研究负责人,在那里他参与了ProjectX,这是一项为Windows开发自然用户界面的工作。2000年至2005年,他在微软亚洲研究院自然语言计算组担任研究负责人,与同事们共同开发了微软Office发布的首个中文语音识别系统,即市场上领先的中文/日文输入法编辑器(IME),以及微软Windows的自然语言平台。

成为VIP会员查看完整内容
0
10
小贴士
相关VIP内容
相关论文
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
82+阅读 · 2020年3月18日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
Luca Franceschi,Mathias Niepert,Massimiliano Pontil,Xiao He
15+阅读 · 2019年3月28日
CHIP: Channel-wise Disentangled Interpretation of Deep Convolutional Neural Networks
Xinrui Cui,Dan Wang,Z. Jane Wang
5+阅读 · 2019年2月7日
Attention, please! A Critical Review of Neural Attention Models in Natural Language Processing
Andrea Galassi,Marco Lippi,Paolo Torroni
18+阅读 · 2019年2月4日
Multi-Task Deep Neural Networks for Natural Language Understanding
Xiaodong Liu,Pengcheng He,Weizhu Chen,Jianfeng Gao
3+阅读 · 2019年1月31日
Stefan Constantin,Jan Niehues,Alex Waibel
3+阅读 · 2018年12月17日
Łukasz Kaiser,Samy Bengio
6+阅读 · 2018年1月29日
Top