自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

视频: https://hub.baai.ac.cn/view/3868

成为VIP会员查看完整内容
0
29

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

近年来,规模在自然语言处理的快速发展中发挥了核心作用。虽然基准测试被越来越大的模型所主导,但高效的硬件使用对于它们的广泛采用和该领域的进一步发展至关重要。在这个尖端的教程中,我们将概括自然语言处理的最先进技术。在建立这些基础之后,我们将介绍广泛的提高效率的技术,包括知识蒸馏、量化、修剪、更高效的架构,以及案例研究和实际实现技巧。

https://2020.emnlp.org/tutorials

成为VIP会员查看完整内容
0
24

自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
45

自然语言处理中的自注意力模型

目前自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2)Transformer模型的应用:将Transformer模型应用在文本分类、实体名识别等自然语言任务上,并通过针对性的改进来进一步提高性能。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
75

摘要: 近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。

成为VIP会员查看完整内容
0
48

题目

自然语言处理中的迁移学习,41 页PPT

关键字

自然语言处理,迁移学习

简介

本教程,将系统地介绍在自然语言处理中,迁移学习的应用。

内容

  • 概念与历史:什么是迁移学习?
  • 最先进的迁移学习方法:预培训和适应
  • Hugging Face and Transformers
  • 当前迁移学习的趋势、限制和开放性问题
  • Takeaways
成为VIP会员查看完整内容
0
51

题目: 自然语言处理中的表示学习进展:从Transfomer到BERT

报告人: 邱锡鹏 博士 复旦大学

摘要: 目前全连接自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍我们在自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer等。2)预训练的Transformer模型的迁移方法:虽然预训练的Transformer模型(比如BERT、GPT等)在很多自然语言任务上都取得了非常好的性能,我们通过任务转换、继续预训练、多任务学习等方法来进一步提高其迁移能力。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
20191104-MLA2019-自然语言处理中的表示学习进展:从Transfomer到BERT.pdf
0
57
小贴士
相关论文
Kathleen Siminyu,Laura Martinus,Vukosi Marivate
0+阅读 · 11月20日
Aidan Hogan,Eva Blomqvist,Michael Cochez,Claudia d'Amato,Gerard de Melo,Claudio Gutierrez,José Emilio Labra Gayo,Sabrina Kirrane,Sebastian Neumaier,Axel Polleres,Roberto Navigli,Axel-Cyrille Ngonga Ngomo,Sabbir M. Rashid,Anisa Rula,Lukas Schmelzeisen,Juan Sequeda,Steffen Staab,Antoine Zimmermann
71+阅读 · 3月4日
Integrating Graph Contextualized Knowledge into Pre-trained Language Models
Bin He,Di Zhou,Jinghui Xiao,Xin jiang,Qun Liu,Nicholas Jing Yuan,Tong Xu
3+阅读 · 2019年12月3日
Zied Bouraoui,Jose Camacho-Collados,Steven Schockaert
3+阅读 · 2019年11月28日
Tutorial on NLP-Inspired Network Embedding
Boaz Shmueli
4+阅读 · 2019年10月16日
Liang Yao,Chengsheng Mao,Yuan Luo
8+阅读 · 2019年9月7日
Hiroaki Hayashi,Zecong Hu,Chenyan Xiong,Graham Neubig
14+阅读 · 2019年8月21日
Learning Deep Transformer Models for Machine Translation
Qiang Wang,Bei Li,Tong Xiao,Jingbo Zhu,Changliang Li,Derek F. Wong,Lidia S. Chao
3+阅读 · 2019年6月5日
Shengbin Jia
3+阅读 · 2018年11月6日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Top