近年来,自然语言处理的研究方法取得了一些突破。这些突破来源于两个新的建模框架以及在计算和词汇资源的可用性的改进。在这个研讨会小册子中,我们将回顾这些框架,以一种可以被视为现代自然语言处理开端的方法论开始:词嵌入。我们将进一步讨论将嵌入式集成到端到端可训练方法中,即卷积神经网络和递归神经网络。这本小册子的第二章将讨论基于注意力的模型的影响,因为它们是最近大多数最先进的架构的基础。因此,我们也将在本章中花很大一部分时间讨论迁移学习方法在现代自然语言处理中的应用。最后一章将会是一个关于自然语言生成的说明性用例,用于评估最先进的模型的训练前资源和基准任务/数据集。

https://compstat-lmu.github.io/seminar_nlp_ss20/

在过去的几十年里,人工智能技术的重要性和应用不断得到关注。在当今时代,它已经与构成人类塑造环境的大部分环境密不可分。因此,商业、研究和开发、信息服务、工程、社会服务和医学等无数部门已经不可逆转地受到人工智能能力的影响。人工智能有三个主要领域组成了这项技术:语音识别、计算机视觉和自然语言处理(见Yeung (2020))。在这本书中,我们将仔细研究自然语言处理(NLP)的现代方法。

这本小册子详细介绍了用于自然语言处理的现代方法,如深度学习和迁移学习。此外,本研究亦会研究可用于训练自然语言处理任务的资源,并会展示一个将自然语言处理应用于自然语言生成的用例。

为了分析和理解人类语言,自然语言处理程序需要从单词和句子中提取信息。由于神经网络和其他机器学习算法需要数字输入来进行训练,因此应用了使用密集向量表示单词的词嵌入。这些通常是通过有多个隐藏层的神经网络学习的,深度神经网络。为了解决容易的任务,可以应用简单的结构神经网络。为了克服这些简单结构的局限性,采用了递归和卷积神经网络。因此,递归神经网络用于学习不需要预先定义最佳固定维数的序列的模型,卷积神经网络用于句子分类。第二章简要介绍了NLP中的深度学习。第三章将介绍现代自然语言处理的基础和应用。在第四章和第五章中,将解释和讨论递归神经网络和卷积神经网络及其在自然语言处理中的应用。

迁移学习是每个任务或领域的学习模型的替代选择。在这里,可以使用相关任务或领域的现有标记数据来训练模型,并将其应用到感兴趣的任务或领域。这种方法的优点是不需要在目标域中进行长时间的训练,并且可以节省训练模型的时间,同时仍然可以(在很大程度上)获得更好的性能。迁移学习中使用的一个概念是注意力,它使解码器能够注意到整个输入序列,或自注意,它允许一个Transformer 模型处理所有输入单词,并建模一个句子中所有单词之间的关系,这使得快速建模一个句子中的长期依赖性成为可能。迁移学习的概念将在小册子的第6章简要介绍。第七章将通过ELMo、ULMFiT和GPT模型来描述迁移学习和LSTMs。第八章将详细阐述注意力和自注意力的概念。第九章将迁移学习与自注意力相结合,介绍了BERT模型、GTP2模型和XLNet模型。

为NLP建模,需要资源。为了找到任务的最佳模型,可以使用基准测试。为了在基准实验中比较不同的模型,需要诸如精确匹配、Fscore、困惑度或双语评估替补学习或准确性等指标。小册子的第十章简要介绍了自然语言处理的资源及其使用方法。第11章将解释不同的指标,深入了解基准数据集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到资源的预训练模型和数据库,如“带代码的论文”和“大坏的NLP数据库”。

在小册子的最后一章中,介绍了生成性NLP处理自然语言生成,从而在人类语言中生成可理解的文本。因此,不同的算法将被描述,聊天机器人和图像字幕将被展示,以说明应用的可能性。

本文对自然语言处理中各种方法的介绍是接下来讨论的基础。小册子的各个章节将介绍现代的NLP方法,并提供了一个更详细的讨论,以及各种示例的潜力和限制。

成为VIP会员查看完整内容
262

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【干货书】Python机器学习,361页pdf
专知会员服务
252+阅读 · 2021年2月25日
【经典书】精通Linux,394页pdf
专知会员服务
89+阅读 · 2021年2月19日
【2020新书】Ruby 3 编程: 从小白到专家,598页pdf
专知会员服务
28+阅读 · 2020年12月17日
【2020新书】深度学习自然语言处理简明导论,69页pdf
专知会员服务
112+阅读 · 2020年11月7日
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
58+阅读 · 2020年10月27日
专知会员服务
78+阅读 · 2020年10月2日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
84+阅读 · 2020年9月6日
【经典书】算法C语言实现,Algorithms in C. 672页pdf
专知会员服务
79+阅读 · 2020年8月13日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
152+阅读 · 2020年6月12日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
最新《图嵌入组合优化》综述论文,40页pdf
最新《动态网络嵌入》综述论文,25页pdf
专知
31+阅读 · 2020年6月17日
【新书册】贝叶斯神经网络,41页pdf
专知
25+阅读 · 2020年6月3日
自然语言处理常识推理综述论文,60页pdf
专知
69+阅读 · 2019年4月4日
421页《机器学习数学基础》最新2019版PDF下载
Arxiv
4+阅读 · 2019年4月17日
Arxiv
3+阅读 · 2018年2月20日
VIP会员
相关VIP内容
【干货书】Python机器学习,361页pdf
专知会员服务
252+阅读 · 2021年2月25日
【经典书】精通Linux,394页pdf
专知会员服务
89+阅读 · 2021年2月19日
【2020新书】Ruby 3 编程: 从小白到专家,598页pdf
专知会员服务
28+阅读 · 2020年12月17日
【2020新书】深度学习自然语言处理简明导论,69页pdf
专知会员服务
112+阅读 · 2020年11月7日
最新《低资源自然语言处理》综述论文,21页pdf
专知会员服务
58+阅读 · 2020年10月27日
专知会员服务
78+阅读 · 2020年10月2日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
84+阅读 · 2020年9月6日
【经典书】算法C语言实现,Algorithms in C. 672页pdf
专知会员服务
79+阅读 · 2020年8月13日
最新《深度半监督学习》综述论文,43页pdf
专知会员服务
152+阅读 · 2020年6月12日
机器学习速查手册,135页pdf
专知会员服务
335+阅读 · 2020年3月15日
微信扫码咨询专知VIP会员