第三届“讯飞杯”中文机器阅读理解评测报名开启（CMRC 2019）

2019 年 5 月 24 日 PaperWeekly

哈工大讯飞联合实验室（HFL）继续承办第三届“讯飞杯”中文机器阅读理解评测（CMRC 2019）。

官方网站：https://hfl-rc.github.io/cmrc2019/

评测报名截止时间：2019年6月30日23:59 (北京时间，UTC+8)

第三届“讯飞杯”中文机器阅读理解评测

从2017年开始，全国计算语言学学术会议（CCL）计划举办评测活动。作为全国计算语言学学术会议（CCL）的系列评测，今年将继续举办第三届“讯飞杯”中文机器阅读理解评测 (The Third Evaluation Workshop on Chinese Machine Reading Comprehension, CMRC 2019)，并将于2019年10月与第十八届全国计算语言学学术会议（CCL 2019，2019年10月18日~20日，云南昆明）共同召开。本届中文机器阅读理解评测由中国中文信息学会计算语言学专业委员会（CIPS-CL）主办，哈工大讯飞联合实验室（HFL）承办，科大讯飞股份有限公司、河北省讯飞人工智能研究院冠名赞助，旨在进一步促进中文机器阅读理解研究及发展并且为相关领域学者提供一个良好的沟通平台。在此，CMRC 2019评测委员会诚邀各界人士参加本次评测活动！

哈工大讯飞联合实验室（HFL）长期致力于机器阅读理解的研究和发展。在中文阅读理解方面，哈工大讯飞联合实验室在2016年7月提出首个中文填空型阅读理解数据集PD&CFT。在2017年、2018年先后承办了两届“讯飞杯”中文机器阅读理解评测（CMRC 2017，CMRC 2018），进一步促进了中文机器阅读理解研究。我们希望通过持续的中文机器阅读理解评测，与相关领域学者共同推进中文机器阅读理解的技术水平。

任务简介

第三届“讯飞杯”中文机器阅读理解（CMRC 2019）的任务是句子级填空型阅读理解（Sentence Cloze-Style Machine Reading Comprehension, SC-MRC）。根据给定的一个叙事篇章以及若干个从篇章中抽取出的句子，参赛者需要建立模型将候选句子精准的填回原篇章中，使之成为完整的一篇文章。本任务需要机器能够根据上下文的逻辑关系判断空缺部分的内容，进一步提升了机器阅读理解的难度。

同时，本届评测的赛制也发生了一些变化，比赛分为资格赛（5月23日~8月7日）和决赛（8月14日~8月21日）两个阶段：

资格赛：不要求提交系统源代码，在赛末提交资格集的结果（仅公开题面），排名最高的10支队伍将入围决赛
决赛：获得决赛入围资格的队伍将提交系统代码，在隐藏的测试集上得出最终评测结果（80%比重），专家评审（20%比重）

奖项设置

本届评测将评选出如下奖项，颁发荣誉证书和奖金。

由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。

由科大讯飞股份有限公司和河北省讯飞人工智能研究院为获奖队伍提供奖金。

奖项	数量	奖励
冠军	一名	￥20,000 + 荣誉证书
亚军	一名	￥10,000 + 荣誉证书
季军	三名	￥ 5,000 + 荣誉证书

重要时间

注：所有截止时间点为北京时间（UTC+8）23:59。

阶段	事件	状态	时间
赛前	参赛报名	已开始	即日起 ~ 2019年6月30日
资格赛	发布训练集、试验集	已开始	2019年5月23日
	发布开发集	未开始	2019年6月10日
	系统搭建及调整	未开始	即日起 ~ 2019年7月31日
	发布资格集，获取决赛资格	未开始	2019年8月1日 ~ 2019年8月7日
决赛	提交最终评测系统	未开始	2019年8月14日 ~ 2019年8月21日
赛后	公布客观结果排名	未开始	2019年9月（待定）
	撰写系统描述报告	未开始	2019年9月（待定）
	召开CMRC 2019评测研讨会	未开始	2019年10月19日