会员服务
BERT · 预训练语言模型 · 自然语言处理 ·
2020 年 1 月 30 日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

目录

  • German BERT deepset - Open Sourcing German BERT
  • CamemBERT
  • Flau-BERT [1912.05372] FlauBERT: Unsupervised Language Model Pre-training for French
  • AlBERTo
  • RobBERT [2001.06286] RobBERT: RobBERT: a Dutch RoBERTa-based Language Model
  • RuBERT [1912.09582] BERTje: A Dutch BERT Model
  • BETO
  • BERTje
  • Portuguese BERT
  • German BERT&Italian BERT
成为VIP会员查看完整内容
https://twitter.com/seb_ruder/status/1221851361811128321
deepset - Open Sourcing German BERT CamemBERT FlauBERT: Unsupervised Language Model Pre-training for French AlBERTo RobBERT: a Dutch RoBERTa-based Language Model BERTje: A Dutch BERT Model Portuguese BERT German BERT&Italian BERT
52

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
专知会员服务
45+阅读 · 2020年4月25日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
92+阅读 · 2020年4月13日
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
专知会员服务
49+阅读 · 2020年3月7日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
30+阅读 · 2020年2月21日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
42+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
24+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
22+阅读 · 2019年12月21日
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
专知会员服务
42+阅读 · 2019年11月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
【Github】GPT2-Chinese：中文的GPT2训练代码
【Github】GPT2-Chinese：中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
39+阅读 · 2019年6月9日
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Arxiv
14+阅读 · 2019年6月19日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
14+阅读 · 2019年5月24日
BERT for Joint Intent Classification and Slot Filling
Arxiv
12+阅读 · 2019年2月28日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Deep Communicating Agents for Abstractive Summarization
Arxiv
5+阅读 · 2018年3月27日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
VIP会员
相关主题
BERT
预训练语言模型
自然语言处理
相关VIP内容
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
【ACL2020】不要停止预训练:根据领域和任务自适应调整语言模型，Don't Stop Pretraining: Adapt Language Models to Domains and Tasks
专知会员服务
45+阅读 · 2020年4月25日
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
92+阅读 · 2020年4月13日
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
【Amazon】使用预先训练的Transformer模型进行数据增强，Data Augmentation using Pre-trained Transformer Models
专知会员服务
49+阅读 · 2020年3月7日
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
【微软亚洲研究院】CodeBERT:用于编程和自然语言的预训练模型，CodeBERT: A Pre-Trained Model for Programming and Natural Languages
专知会员服务
30+阅读 · 2020年2月21日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
42+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
24+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
22+阅读 · 2019年12月21日
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
【NLP模型的跨语言/跨领域迁移】《Transferring NLP models across languages and domains》
专知会员服务
42+阅读 · 2019年11月25日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
热门VIP内容
相关资讯
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
【Github】GPT2-Chinese：中文的GPT2训练代码
【Github】GPT2-Chinese：中文的GPT2训练代码
AINLP
52+阅读 · 2019年8月23日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp
AINLP
39+阅读 · 2019年6月9日
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM
PaperWeekly
16+阅读 · 2019年6月6日
Github项目推荐 | awesome-bert：BERT相关资源大列表
Github项目推荐 | awesome-bert：BERT相关资源大列表
AI研习社
27+阅读 · 2019年2月26日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
pytorch-pretrained-BERT：BERT PyTorch实现，可加载Google BERT预训练模型
AINLP
35+阅读 · 2018年11月6日
相关论文
Unsupervised Domain Clusters in Pretrained Language Models
Arxiv
11+阅读 · 2020年4月5日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Text Summarization with Pretrained Encoders
Arxiv
5+阅读 · 2019年8月22日
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Arxiv
14+阅读 · 2019年6月19日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
14+阅读 · 2019年5月24日
BERT for Joint Intent Classification and Slot Filling
Arxiv
12+阅读 · 2019年2月28日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Deep Communicating Agents for Abstractive Summarization
Arxiv
5+阅读 · 2018年3月27日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
微信扫码咨询专知VIP会员
Top