会员服务
BERT · 预训练语言模型 · 自然语言处理 ·
2020 年 1 月 30 日
【跨语言BERT模型大集合】Transfer learning is increasingly going multilingual with language-specific BERT models
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

目录

  • German BERT deepset - Open Sourcing German BERT
  • CamemBERT
  • Flau-BERT [1912.05372] FlauBERT: Unsupervised Language Model Pre-training for French
  • AlBERTo
  • RobBERT [2001.06286] RobBERT: RobBERT: a Dutch RoBERTa-based Language Model
  • RuBERT [1912.09582] BERTje: A Dutch BERT Model
  • BETO
  • BERTje
  • Portuguese BERT
  • German BERT&Italian BERT
成为VIP会员查看完整内容
https://twitter.com/seb_ruder/status/1221851361811128321
deepset - Open Sourcing German BERT CamemBERT FlauBERT: Unsupervised Language Model Pre-training for French AlBERTo RobBERT: a Dutch RoBERTa-based Language Model BERTje: A Dutch BERT Model Portuguese BERT German BERT&Italian BERT
54

相关内容

BERT全称Bidirectional Encoder Representations from Transformers，是预训练语言表示的方法，可以在大型文本语料库（如维基百科）上训练通用的“语言理解”模型，然后将该模型用于下游NLP任务，比如机器翻译、问答。
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
43+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
24+阅读 · 2019年12月21日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
VIP会员
相关主题
BERT
预训练语言模型
自然语言处理
相关VIP内容
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
【论文翻译】2020最新预训练语言模型综述：Pre-trained Models for Natural Language Processing: A Survey
专知会员服务
94+阅读 · 2020年4月13日
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
【微软研究院】IMAGEBERT: CROSS-MODAL PRE-TRAINING WITH LARGE-SCALE WEAK-SUPERVISED IMAGE-TEXT DATA
专知会员服务
43+阅读 · 2020年1月28日
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
【ICLR2020 预训练的百科全书】弱监督的知识-预训练的语言模型（PRETRAINED ENCYCLOPEDIA: WEAKLY SUPERVISED KNOWLEDGE-PRETRAINED LANGUAGE MODEL）
专知会员服务
25+阅读 · 2019年12月26日
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
【Google论文强烈推荐】ALBERT:基于精简BERT的自我监督学习的语言表示，ALBERT: A Lite BERT for Self-Supervised Learning of Language Representations
专知会员服务
24+阅读 · 2019年12月21日
最新BERT相关论文清单，BERT-related Papers
最新BERT相关论文清单，BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
热门VIP内容
相关资讯
RoBERTa中文预训练模型：RoBERTa for Chinese
RoBERTa中文预训练模型：RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
RoBERTa for Chinese：大规模中文预训练RoBERTa模型
AINLP
30+阅读 · 2019年9月8日
BERT/Transformer/迁移学习NLP资源大列表
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
NLP预训练模型大集合
NLP预训练模型大集合
机器学习算法与Python学习
8+阅读 · 2018年12月28日
NLP预训练模型大集合！
NLP预训练模型大集合！
机器之心
21+阅读 · 2018年12月28日
相关论文
TinyBERT: Distilling BERT for Natural Language Understanding
TinyBERT: Distilling BERT for Natural Language Understanding
Arxiv
11+阅读 · 2019年9月23日
Pre-Training with Whole Word Masking for Chinese BERT
Arxiv
11+阅读 · 2019年6月19日
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Arxiv
16+阅读 · 2019年5月24日
Multi-Task Deep Neural Networks for Natural Language Understanding
Multi-Task Deep Neural Networks for Natural Language Understanding
Arxiv
3+阅读 · 2019年1月31日
Multilingual Training and Cross-lingual Adaptation on CTC-based Acoustic Model
Arxiv
7+阅读 · 2018年1月23日
微信扫码咨询专知VIP会员
Top