我们将考虑流行的神经序列处理模型(如RNN和Transformer)与形式化模型(如自动机及其变体)之间的关系。特别地,我们将讨论几种RNN的提取方法,以及通过自动机变体来理解的各种RNN体系结构之间的差异。然后我们将考虑更现代的Transformer。特别是,我们将展示它如何(不!)与现有的正式类相关,并以编程语言的形式提出另一种抽象。

https://icgi2020.lis-lab.fr/speakers/#Guillaume

成为VIP会员查看完整内容
0
35

相关内容

由于其在非欧几里德数据(如图或流形)建模方面的强大能力,图的深度学习技术(即图神经网络(GNNs))为解决具有挑战性的图相关NLP问题打开了一扇新的大门。将深度学习技术应用于自然语言处理的研究兴趣大增,并在许多自然语言处理任务中取得了相当大的成功,包括句子分类、语义角色标注和关系抽取等分类任务,以及机器翻译、问题生成和摘要等生成任务。尽管取得了这些成功,但面向NLP的图深度学习仍然面临许多挑战,包括自动将原始文本序列数据转换为高度图结构的数据,以及有效地建模复杂数据,这些数据涉及基于图的输入和其他高度结构的输出数据(如序列、树、树)之间的映射。以及节点和边中都有多种类型的图数据。本教程将涵盖在图形技术上应用深度学习的相关和有趣的主题,包括用于NLP的自动图形构建、用于NLP的图形表示学习、用于NLP的基于高级GNN模型(例如,graph2seq、graph2tree和graph2graph),以及GNN在各种NLP任务中的应用(例如,机器翻译、自然语言生成、信息提取和语义解析)。此外,还将包括动手演示会议,以帮助观众获得使用我们最近开发的开源库Graph4NLP应用gnn解决具有挑战性的NLP问题的实践经验。Graph4NLP是第一个为研究人员和实践者方便地使用GNN完成各种NLP任务的库。

https://github.com/dlg4nlp/dlg4nlp.github.io

成为VIP会员查看完整内容
0
49

深度学习已经成为自然语言处理(NLP)研究的主导方法,特别是在大规模语料库中。在自然语言处理任务中,句子通常被认为是一系列标记。因此,流行的深度学习技术如循环神经网络(RNN)和卷积神经网络(CNN)在文本序列建模中得到了广泛的应用。

然而,有大量的自然语言处理问题可以用图结构来最好地表达。例如,序列数据中的结构和语义信息(例如,各种语法分析树(如依赖分析树)和语义分析图(如抽象意义表示图))可以通过合并特定任务的知识来扩充原始序列数据。因此,这些图结构化数据可以对实体标记之间的复杂成对关系进行编码,以学习更多的信息表示。然而,众所周知,深度学习技术对欧几里德数据(如图像)或序列数据(如文本)具有破坏性,但不能立即适用于图结构数据。因此,这一差距推动了对图的深度学习的研究,特别是图神经网络(GNN)的发展。

这种在图的深度学习和自然语言处理的交叉领域的研究浪潮影响了各种自然语言处理任务。应用/开发各种类型的GNN的兴趣激增,并在许多自然语言处理任务中取得了相当大的成功,从分类任务如句子分类、语义角色标注和关系提取,到生成任务如机器翻译、问题生成和摘要。

尽管取得了这些成功,NLP的图深度学习仍然面临许多挑战,包括自动将原始文本序列数据转换为高度图结构的数据,以及有效地建模复杂数据,包括基于图的输入和其他高度结构化的输出数据 (如序列、树、并在节点和边均具有多种类型的图数据。本教程将涵盖在NLP中运用深度学习图技术的相关和有趣的主题,包括NLP的自动图构造、NLP的图表示学习、NLP的高级基于GNN的模型(例如graph2seq、graph2tree和graph2graph),以及GNN在各种NLP任务中的应用 (例如:机器翻译、自然语言生成、信息提取和语义解析)。此外,还将包括动手演示课程,以帮助观众获得应用GNN解决具有挑战性的NLP问题的实际经验,使用我们最近开发的开源库——Graph4NLP,这是第一个为研究人员和从业者提供的库,用于轻松地使用GNN解决各种NLP任务。

成为VIP会员查看完整内容
0
56

自然语言数据的一个重要子集包括跨越数千个token的文档。处理这样长的序列的能力对于许多NLP任务是至关重要的,包括文档分类、摘要、多跳和开放域问答,以及文档级或多文档关系提取和引用解析。然而,将最先进的模型扩展到较长的序列是一个挑战,因为许多模型都是为较短的序列设计的。一个值得注意的例子是Transformer模型,它在序列长度上有二次计算代价,这使得它们对于长序列任务的代价非常昂贵。这反映在许多广泛使用的模型中,如RoBERTa和BERT,其中序列长度被限制为只有512个tokens。在本教程中,我们将向感兴趣的NLP研究人员介绍最新和正在进行的文档级表示学习技术。此外,我们将讨论新的研究机会,以解决该领域现有的挑战。我们将首先概述已建立的长序列自然语言处理技术,包括层次、基于图和基于检索的方法。然后,我们将重点介绍最近的长序列转换器方法,它们如何相互比较,以及它们如何应用于NLP任务(参见Tay等人(2020)最近的综述)。我们还将讨论处理长序列的关键的各种存储器节省方法。在本教程中,我们将使用分类、问答和信息提取作为激励任务。我们还将有一个专注于总结的实际编码练习。

成为VIP会员查看完整内容
0
43

来自UIUC的Transformers最新教程。

Transformer 架构 architecture Attention models Implementation details Transformer-based 语言模型 language models BERT GPT Other models

Transformer 视觉 Applications of Transformers in vision

成为VIP会员查看完整内容
0
95

【导读】来自Jordi Pons一份循环神经网络RNNs简明教程,37页ppt

成为VIP会员查看完整内容
RNNsTutorial.pdf
0
99

摘要:在这次演讲中,我将带领听众回顾我在建立神经序列模型方面的早期和近期经历。我从早期使用循环网络进行seq2seq学习的经验出发,讨论了注意机制。我讨论了这些早期方法成功背后的因素,以及这些方法是如何被社区所接受的,甚至是在它们还没有成型之前。然后,我会转向讲非常规神经序列模型的最新研究方向以及该模型可以自动学习确定生成的顺序。

报告人简介:Kyunghyun Cho是纽约大学计算机科学和数据科学副教授,也是Facebook人工智能研究中心的研究科学家。在2015年夏之前,他一直是蒙特利尔大学的博士后研究员,在yobengio教授的指导下,并于2014年初在Juha Karhunen教授、Tapani Raiko博士和Alexander Ilin博士的指导下获得了阿尔托大学的博士和硕士学位。

成为VIP会员查看完整内容
0
24
小贴士
相关VIP内容
专知会员服务
49+阅读 · 7月23日
专知会员服务
43+阅读 · 6月7日
专知会员服务
95+阅读 · 2020年11月26日
专知会员服务
29+阅读 · 2020年11月11日
专知会员服务
48+阅读 · 2020年8月30日
一份循环神经网络RNNs简明教程,37页ppt
专知会员服务
99+阅读 · 2020年5月6日
相关论文
Tsung-Ming Tai,Giuseppe Fiameni,Cheng-Kuang Lee,Oswald Lanz
0+阅读 · 9月21日
Jungo Kasai,Hao Peng,Yizhe Zhang,Dani Yogatama,Gabriel Ilharco,Nikolaos Pappas,Yi Mao,Weizhu Chen,Noah A. Smith
0+阅读 · 9月20日
Tsung-Ming Tai,Giuseppe Fiameni,Cheng-Kuang Lee,Oswald Lanz
0+阅读 · 9月19日
David R. So,Wojciech Mańke,Hanxiao Liu,Zihang Dai,Noam Shazeer,Quoc V. Le
0+阅读 · 9月17日
Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,Hyunwoo J. Kim
10+阅读 · 2020年2月5日
Graph Transformer for Graph-to-Sequence Learning
Deng Cai,Wai Lam
4+阅读 · 2019年11月30日
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
10+阅读 · 2019年6月2日
Neural Speech Synthesis with Transformer Network
Naihan Li,Shujie Liu,Yanqing Liu,Sheng Zhao,Ming Liu,Ming Zhou
5+阅读 · 2019年1月30日
Bidirectional Attention for SQL Generation
Tong Guo,Huilin Gao
4+阅读 · 2018年6月21日
Qiuyuan Huang,Li Deng,Dapeng Wu,Chang Liu,Xiaodong He
6+阅读 · 2018年2月20日
Top