会员服务
近年来，预训练模型（例如ELMo、GPT、BERT和XLNet等）的快速发展大幅提升了诸多NLP任务的整体水平，同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型，它的特点包括：第一，可以使用大规模无标注纯文本语料进行训练；第二，可以用于各类下游NLP任务，不是针对某项定制的，但以后可用在下游NIP任务上，你不需要为下游任务专门设计一种神经网络，或者提供一种结构，直接在几种给定的固定框架中选择一种进行 fine-tune，就可以从而得到很好的结果。
Beyond 预训练语言模型，NLP还需要什么样的知识？
Beyond 预训练语言模型，NLP还需要什么样的知识？
夕小瑶的卖萌屋
0+阅读 · 2021年7月21日
Google BERT作者Jacob斯坦福亲授《上下文词向量与预训练语言模型: BERT到T5》43页ppt
Google BERT作者Jacob斯坦福亲授《上下文词向量与预训练语言模型: BERT到T5》43页ppt
专知
1+阅读 · 2020年4月6日
极市内推｜华为泊松实验室招聘AI 实习研究员
极市内推｜华为泊松实验室招聘AI 实习研究员
极市平台
2+阅读 · 2021年12月15日
PLM是做题家吗？一文速览预训练语言模型数学推理能力新进展
PLM是做题家吗？一文速览预训练语言模型数学推理能力新进展
PaperWeekly
1+阅读 · 2022年11月28日
收录160+篇文章！清华唐杰团队详解自监督学习
收录160+篇文章！清华唐杰团队详解自监督学习
学术头条
3+阅读 · 2020年6月19日
[预训练语言模型专题] 百度出品ERNIE合集，问国产预训练语言模型哪家强
[预训练语言模型专题] 百度出品ERNIE合集，问国产预训练语言模型哪家强
AINLP
0+阅读 · 2020年4月7日
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
最新必读【预训练语言模型(BERT/XLNet等)】论文，Google/微软/华为ICLR2020提交论文
专知
2+阅读 · 2019年9月29日
【CIKM2021】用领域知识增强预训练语言模型的问题回答
【CIKM2021】用领域知识增强预训练语言模型的问题回答
专知
0+阅读 · 2021年11月18日
大模型炼丹无从下手？谷歌、OpenAI烧了几百万刀，总结出这些方法论…
大模型炼丹无从下手？谷歌、OpenAI烧了几百万刀，总结出这些方法论…
夕小瑶的卖萌屋
0+阅读 · 2021年10月19日
ICLR 2022｜唯快不破！面向极限压缩的全二值化BiBERT
ICLR 2022｜唯快不破！面向极限压缩的全二值化BiBERT
量子位
2+阅读 · 2022年2月19日
EMNLP 2021 | 大道至简：微软提出可生成高质量文本表示的预训练语言模型
EMNLP 2021 | 大道至简：微软提出可生成高质量文本表示的预训练语言模型
PaperWeekly
0+阅读 · 2022年1月10日
无需大规模预训练，清华提出高效NLP学习框架TLM：从零开始比肩预训练语言模型性能
无需大规模预训练，清华提出高效NLP学习框架TLM：从零开始比肩预训练语言模型性能
机器之心
0+阅读 · 2021年11月12日
解读预训练大模型的2021年：人们正在逐渐驯服这些“庞然大物”
解读预训练大模型的2021年：人们正在逐渐驯服这些“庞然大物”
InfoQ
0+阅读 · 2022年1月16日
CCL 2020闭幕，数万人见证2020年中国NLP全貌剪影
CCL 2020闭幕，数万人见证2020年中国NLP全貌剪影
AI科技评论
0+阅读 · 2020年11月2日
字节跳动李航提出AMBERT！超越BERT！多粒度token预训练语言模型
字节跳动李航提出AMBERT！超越BERT！多粒度token预训练语言模型
深度学习自然语言处理
0+阅读 · 2020年8月31日
参考链接
父主题
自然语言处理
子主题
BERT
NBoost
ELMo
XLNet（广义自回归预训练方法）
Transformer
微信扫码咨询专知VIP会员
Top