【CCL 2019】ATT-第19期：预训练模型--自然语言处理的新范式 （车万翔 ）

报告主题： 预训练模型--自然语言处理的新范式

报告摘要： 传统的有监督自然语言处理模型依赖大规模的人工标注训练数据，这些数据标注代价非常高，因此规模有限，这也限制了自然语言处理系统进一步提升精度。以Word2vec，GloVe等为代表的词向量技术可以视为一种早期的预训练模型， 从大规模未标注文本中预训练的词向量，在一定程度上提高了上层模型的精度。然而，这些模型假设“一个词由唯一的向量表示”，忽略了它们在不同上下文下的差异。以ELMo为代表的上下文相关词向量模型取消了以上的假设，在不同的上下文环境下，赋予相 同的词以不同的词向量，因此又被称为“动态”词向量。BERT等模型进一步使用更深层的网络进行预训练，并使用了语言模型之外的预训练目标，在应用模式上也从简单的特征提取转换为精调整个网络结构。这些新的预训练模型在众多自然语言处理任务上取得 了很好的效果，已成为自然语言处理的新范式。本报告首先介绍预训练模型的演化过程，接着介绍预训练模型在应用方面的最新研究进展，另外还列举了一些对预训练模型进行定性和定量分析的工作，最后对自然语言处理中预训练模型的发展趋势进行了展望。

邀请嘉宾： 车万翔 博士，哈尔滨工业大学计算机学院教授，博士生导师，斯坦福大学访问学者，合作导师Christopher Manning教授。现任中国中文信息学会计算语言学专业委员会委员、青年工作委员会副主任；中国计算机学会高级会员、曾任 YOCSEF哈尔滨主席（2016-2017年度）。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇，其中AAAI 2013年的文章获得了最佳论文提名奖，论文累计被引用2,100余次（Google Scholar数据），H-index值为26。出版教材 2 部，译 著 2 部。承担国家自然科学基金、973等多项科研项目。负责研发的语言技术平台（LTP）已被600余家单位共享，提供的在线“语言云”服务已有用户1万余人，并授权给百度、腾讯、华为等公司使用。2018年，获CoNLL多语种句法分析国际评测第1名。2015-16年， 连续两年获Google Focused Research Award（谷歌专注研究奖）；2016年，获黑龙江省科技进步一等奖（排名第2）；2012年，获黑龙江省技术发明奖二等奖（排名第2）；2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖（排名第2）、首届 汉王青年创新奖（个人）等多项奖励。2017年，所主讲的《高级语言程序设计（Python）》课程获国家精品在线开放课程。