近年来,预训练模型(例如ELMo、GPT、BERT和XLNet等)的快速发展大幅提升了诸多NLP任务的整体水平,同时也使得很多应用场景进入到实际落地阶段。预训练语言模型本身就是神经网络语言模型,它的特点包括:第一,可以使用大规模无标注纯文本语料进行训练;第二,可以用于各类下游NLP任务,不是针对某项定制的,但以后可用在下游NIP任务上,你不需要为下游任务专门设计一种神经网络,或者提供一种结构,直接在几种给定的固定框架中选择一种进行 fine-tune,就可以从而得到很好的结果。
「知识增强预训练语言模型」最新研究综述
专知
17+阅读 · 2022年11月18日
直播预告 | NAACL专场分享会
THU数据派
0+阅读 · 2022年8月8日
赛尔笔记 | 逻辑推理阅读理解任务及方法
哈工大SCIR
1+阅读 · 2022年6月7日
【报名】TF53:预训练时代的大规模知识表示与推理实践
中国计算机学会
0+阅读 · 2022年4月18日
别再无脑wwm了!在下游任务中不一定有效!
大数据文摘
0+阅读 · 2022年4月14日
别再无脑wwm了!在下游任务中不一定有效!
夕小瑶的卖萌屋
1+阅读 · 2022年4月7日
微信扫码咨询专知VIP会员