论文题目: How to Fine-Tune BERT for Text Classification?

论文摘要: 预训练语言模型已经在学习通用语言表示上证明了存在的价值。作为一个 SOTA 预训练语言模型,BERT(基于 Transformer 的双向编码表示)在许多语言理解任务上取得了惊人的结果。在本文中,研究者进行了一项费时费力的实验,用于探索在 BERT 上进行各种微调方法,以使其用于文本分类任务上。最终,研究者提出了一个通用的 BERT 微调方法。论文提出的方法在 8 个常见的文本分类数据集上取得了新的 SOTA 结果。

作者简介:

邱锡鹏,复旦大学计算机科学技术学院副教授,博士生导师。于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究,在ACL、EMNLP、AAAI、IJCAI等计算机学会A/B类期刊、会议上发表50余篇学术论文,引用 1900余次。开源中文自然语言处理工具FudanNLP作者,FastNLP项目负责人。2015年入选首届中国科协人才托举工程,2017年ACL杰出论文奖,2018年获中国中文信息学会“钱伟长中文信息处理科学技术奖—汉王青年创新奖”。

黄萱菁,1989~1998年就读于复旦大学计算机系,先后获学士、博士学位。1998年留校任教,2006年晋升为教授,博士生导师。2008~2009年在美国麻省大学智能信息检索中心从事访问学者研究。现为中国青年科技工作者协会会员,中国中文信息学会理事。等

成为VIP会员查看完整内容
83

相关内容

近年来,预训练模型(例如ELMo、GPT、BERT和XLNet等)的快速发展大幅提升了诸多NLP任务的整体水平,同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型,它的特点包括:第一,可以使用大规模无标注纯文本语料进行训练;第二,可以用于各类下游NLP任务,不是针对某项定制的,但以后可用在下游NIP任务上,你不需要为下游任务专门设计一种神经网络,或者提供一种结构,直接在几种给定的固定框架中选择一种进行 fine-tune,就可以从而得到很好的结果。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【CCL 2019】ATT-第19期:生成对抗网络 (邱锡鹏)
专知会员服务
48+阅读 · 2019年11月12日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
干货 | BERT fine-tune 终极实践教程
AINLP
40+阅读 · 2018年11月24日
详细解读谷歌新模型 BERT 为什么嗨翻 AI 圈
人工智能头条
10+阅读 · 2018年10月25日
刘知远 | 语义表示学习
开放知识图谱
16+阅读 · 2018年8月9日
CS224n 更新 | 第七讲 - TensorFlow入门
AI研习社
4+阅读 · 2018年6月26日
Arxiv
4+阅读 · 2019年9月5日
Arxiv
6+阅读 · 2019年8月22日
How to Fine-Tune BERT for Text Classification?
Arxiv
13+阅读 · 2019年5月14日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
12+阅读 · 2019年2月28日
Arxiv
5+阅读 · 2018年1月18日
VIP会员
相关资讯
微信扫码咨询专知VIP会员