自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
31

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

自然语言处理中的自注意力模型

目前自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2)Transformer模型的应用:将Transformer模型应用在文本分类、实体名识别等自然语言任务上,并通过针对性的改进来进一步提高性能。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
59

摘要: 近年来,随着深度学习的快速发展,面向自然语言处理领域的预训练技术获得了长足的进步。早期的自然语言处理领域长期使用Word2Vec等词向量方法对文本进行编码,这些词向量方法也可看作静态的预训练技术。然而,这种上下文无关的文本表示给其后的自然语言处理任务带来的提升非常有限,并且无法解决一词多义问题。ELMo提出了一种上下文相关的文本表示方法,可有效处理多义词问题。其后,GPT和BERT等预训练语言模型相继被提出,其中BERT模型在多个典型下游任务上有了显著的效果提升,极大地推动了自然语言处理领域的技术发展,自此便进入了动态预训练技术的时代。此后,基于BERT的改进模型、XLNet等大量预训练语言模型不断涌现,预训练技术已成为自然语言处理领域不可或缺的主流技术。文中首先概述预训练技术及其发展历史,并详细介绍自然语言处理领域的经典预训练技术,包括早期的静态预训练技术和经典的动态预训练技术;然后简要梳理一系列新式的有启发意义的预训练技术,包括基于BERT的改进模型和XLNet;在此基础上,分析目前预训练技术研究所面临的问题;最后对预训练技术的未来发展趋势进行展望。

成为VIP会员查看完整内容
0
40

题目

自然语言处理中的迁移学习,41 页PPT

关键字

自然语言处理,迁移学习

简介

本教程,将系统地介绍在自然语言处理中,迁移学习的应用。

内容

  • 概念与历史:什么是迁移学习?
  • 最先进的迁移学习方法:预培训和适应
  • Hugging Face and Transformers
  • 当前迁移学习的趋势、限制和开放性问题
  • Takeaways
成为VIP会员查看完整内容
0
46

题目: 自然语言处理中的表示学习进展:从Transfomer到BERT

报告人: 邱锡鹏 博士 复旦大学

摘要: 目前全连接自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍我们在自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer等。2)预训练的Transformer模型的迁移方法:虽然预训练的Transformer模型(比如BERT、GPT等)在很多自然语言任务上都取得了非常好的性能,我们通过任务转换、继续预训练、多任务学习等方法来进一步提高其迁移能力。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
20191104-MLA2019-自然语言处理中的表示学习进展:从Transfomer到BERT.pdf
0
51

报告主题: 预训练模型--自然语言处理的新范式

报告摘要: 传统的有监督自然语言处理模型依赖大规模的人工标注训练数据,这些数据标注代价非常高,因此规模有限,这也限制了自然语言处理系统进一步提升精度。以Word2vec,GloVe等为代表的词向量技术可以视为一种早期的预训练模型, 从大规模未标注文本中预训练的词向量,在一定程度上提高了上层模型的精度。然而,这些模型假设“一个词由唯一的向量表示”,忽略了它们在不同上下文下的差异。以ELMo为代表的上下文相关词向量模型取消了以上的假设,在不同的上下文环境下,赋予相 同的词以不同的词向量,因此又被称为“动态”词向量。BERT等模型进一步使用更深层的网络进行预训练,并使用了语言模型之外的预训练目标,在应用模式上也从简单的特征提取转换为精调整个网络结构。这些新的预训练模型在众多自然语言处理任务上取得 了很好的效果,已成为自然语言处理的新范式。本报告首先介绍预训练模型的演化过程,接着介绍预训练模型在应用方面的最新研究进展,另外还列举了一些对预训练模型进行定性和定量分析的工作,最后对自然语言处理中预训练模型的发展趋势进行了展望。

邀请嘉宾: 车万翔 博士,哈尔滨工业大学计算机学院教授,博士生导师,斯坦福大学访问学者,合作导师Christopher Manning教授。现任中国中文信息学会计算语言学专业委员会委员、青年工作委员会副主任;中国计算机学会高级会员、曾任 YOCSEF哈尔滨主席(2016-2017年度)。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇,其中AAAI 2013年的文章获得了最佳论文提名奖,论文累计被引用2,100余次(Google Scholar数据),H-index值为26。出版教材 2 部,译 著 2 部。承担国家自然科学基金、973等多项科研项目。负责研发的语言技术平台(LTP)已被600余家单位共享,提供的在线“语言云”服务已有用户1万余人,并授权给百度、腾讯、华为等公司使用。2018年,获CoNLL多语种句法分析国际评测第1名。2015-16年, 连续两年获Google Focused Research Award(谷歌专注研究奖);2016年,获黑龙江省科技进步一等奖(排名第2);2012年,获黑龙江省技术发明奖二等奖(排名第2);2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖(排名第2)、首届 汉王青年创新奖(个人)等多项奖励。2017年,所主讲的《高级语言程序设计(Python)》课程获国家精品在线开放课程。

成为VIP会员查看完整内容
0
12
小贴士
相关论文
Zhangyin Feng,Daya Guo,Duyu Tang,Nan Duan,Xiaocheng Feng,Ming Gong,Linjun Shou,Bing Qin,Ting Liu,Daxin Jiang,Ming Zhou
0+阅读 · 9月18日
fastHan: A BERT-based Joint Many-Task Toolkit for Chinese NLP
Zhichao Geng,Hang Yan,Xipeng Qiu,Xuanjing Huang
0+阅读 · 9月18日
Fabio Petroni,Tim Rocktäschel,Patrick Lewis,Anton Bakhtin,Yuxiang Wu,Alexander H. Miller,Sebastian Riedel
4+阅读 · 2019年9月4日
Hiroaki Hayashi,Zecong Hu,Chenyan Xiong,Graham Neubig
13+阅读 · 2019年8月21日
Yuying Zhu,Guoxin Wang,Börje F. Karlsson
12+阅读 · 2019年4月3日
Antoine J. -P. Tixier
8+阅读 · 2018年8月30日
Sahisnu Mazumder,Nianzu Ma,Bing Liu
5+阅读 · 2018年2月16日
Gleb Makarchuk,Vladimir Kondratenko,Maxim Pisov,Artem Pimkin,Egor Krivov,Mikhail Belyaev
7+阅读 · 2018年2月3日
Top