文章名字

NLP Transfer Learning In 3 Steps

文章简介

BERT(Devlin等人,2018)可能是最流行的NLP迁移学习方法。Huggingface的实现提供了许多不错的特性,并在漂亮的API背后抽象出了细节。PyTorch Lightning是一个轻量级框架(实际上更像是重构PyTorch代码),它允许使用PyTorch的任何人(如学生、研究人员和生产团队)轻松扩展深度学习代码,同时使其可重复。它还通过教练旗提供42+项高级研究功能。闪电没有添加抽象的PyTorch,这意味着它与其他伟大的包,如拥抱脸玩得很好!在本教程中,我们将使用它们的BERT实现在Lightning中执行微调任务。在本教程中,我们将通过3个步骤为NLP进行迁移学习: 我们将从huggingface图书馆导入BERT。 我们将创建一个LightningModule,它使用BERT提取的特征进行微调 我们将使用灯光教练机训练BertMNLIFinetuner。

文章作者

William Falcon,博士生,人工智能(纽约大学,Facebook人工智能研究)。最近一直致力于自然语言预训练模型研究,并取得了最大突破。主张机器学习要面向实践,面向实际,立志解决当前问题,AI必须要有商业驱动,方能足够长远的发展。

成为VIP会员查看完整内容
48

相关内容

BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
93+阅读 · 2020年2月8日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
【NLP】万字长文概述NLP中的深度学习技术
产业智能官
18+阅读 · 2019年7月7日
万字长文概述NLP中的深度学习技术
全球人工智能
12+阅读 · 2019年2月28日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
如何用最强模型BERT做NLP迁移学习?
AI100
3+阅读 · 2019年2月3日
预训练模型迁移学习
极市平台
10+阅读 · 2018年11月6日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
6+阅读 · 2018年6月20日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
5+阅读 · 2017年10月27日
VIP会员
相关资讯
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
【NLP】万字长文概述NLP中的深度学习技术
产业智能官
18+阅读 · 2019年7月7日
万字长文概述NLP中的深度学习技术
全球人工智能
12+阅读 · 2019年2月28日
39页《迁移学习自然语言生成》PPT
专知
9+阅读 · 2019年2月13日
如何用最强模型BERT做NLP迁移学习?
AI100
3+阅读 · 2019年2月3日
预训练模型迁移学习
极市平台
10+阅读 · 2018年11月6日
相关论文
Arxiv
21+阅读 · 2019年3月25日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
6+阅读 · 2018年6月20日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
5+阅读 · 2017年10月27日
微信扫码咨询专知VIP会员