AI 竞赛 | 2018 机器阅读理解技术竞赛

2018 年 3 月 16 日 AI研习社

机器阅读理解 (Machine Reading Comprehension) 是指让机器阅读文本，然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题，对于提升机器智能水平、使机器具有持续知识获取能力具有重要价值，近年来受到学术界和工业界的广泛关注。

为了促进阅读理解技术发展，中国中文信息学会、中国计算机学会和百度公司联手举办 “2018 机器阅读理解技术竞赛”。竞赛将提供面向真实应用场景的大规模中文阅读理解数据集，旨在为研究者提供学术交流平台，进一步提升阅读理解的研究水平，推动语言理解和人工智能领域技术和应用的发展。竞赛将在第三届 "语言与智能高峰论坛"举办技术交流和颁奖。诚邀学术界和工业界的研究者和开发者参加本次竞赛！

竞赛详情

1. 竞赛任务

对于给定问题q及其对应的文本形式的候选文档集合D=d1, d2, ..., dn，要求参评阅读理解系统自动对问题及候选文档进行分析，输出能够满足问题的文本答案 a。目标是 a 能够正确、完整、简洁地回答问题q。

2. 数据简介

本次竞赛数据集来自搜索引擎真实应用场景，其中的问题为百度搜索用户的真实问题，每个问题对应 5 个候选文档文本及人工整理的优质答案。

数据集共包含 30 万问题，包括 27 万的训练集，1 万开发集和 2 万测试集。其中 20 万数据已在DuReader（https://arxiv.org/abs/1711.05073 ）发布，包括 18 万训练集、1 万的开发集和 1 万的测试集。这部分数据可自由下载（http://suo.im/4oKKPA ），供参赛者训练和测试使用。报名截止后，新增的 10 万数据集也将在数据下载区发布。

3. 评价方法

竞赛基于测试集的人工标注答案，采用ROUGH-L（http://suo.im/HWmPz ）和BLEU4（http://suo.im/KFx9D ）作为评价指标，以ROUGH-L（http://suo.im/HWmPz ）为主评价指标。针对是非及实体类型问题，对 ROUGE-L 和 BLEU4 评价指标进行了微调，适当增加了正确识别是非答案类型及匹配实体的得分奖励，一定程度上弥补传统 ROUGE-L 和 BLEU4 指标对是非和实体类型问题评价不敏感的问题。

* 详细的评价指标说明参见数据集中包含的 “评测细则 “文档。

4. 基线系统

竞赛将提供两个开源的阅读理解基线系统，基线系统的实现及结果评价请参考：开源系统（http://suo.im/4oKKPA ）和数据集论文（https://arxiv.org/abs/1711.05073 ）。

参赛方式

1. 参赛对象

本次技术竞赛面向全社会开放，相关领域的个人、科研机构、高等院校、企业单位等人员均可报名参加。

2. 报名方式

竞赛网站将于 2018 年 3 月 1 日开放注册报名，请及时关注。

登录机器阅读理解技术竞赛官网（http://mrc2018.cipsc.org.cn/ ），完善相关信息，即可报名参赛。

* 正式报名并最终提交有效结果的团队, 每位成员均可获得一件大赛定制纪念 T 恤。

3. 报名时间

2018 年 3 月 1 日至 2018 年 3 月 31 日