CMU与谷歌大脑联合出品:62页PPT带你理解SQuAD大赛冠军--QANet

【导读】四月份来自卡内基梅隆大学和谷歌大脑的研究者发布了QANet论文,并发表在ICLR2018上,旨在提出一种新型问答模型。该模型中去除了其他问答模型中的RNN部分,仅使用卷积和自注意力机制,便达到了超越目前最优模型的效果,并使用此模型获得了阅读理解SQuAD大赛的冠军。本文来自谷歌大脑发布的最新介绍,详细介绍了该模型中的技术细节,现由专知团队整理出来,以飨读者。


作者 | Thang Luong

编译 | Yongxi


问答系统与人工智能历史上息息相关,实际上,目前人工智能领域影响甚大的图灵测试便是一个自动问答系统。为了人工智能领域的发展,业界和学术界一直致力于提出质量更好的数据集,以及举办更加有影响力的比赛来促进该领域的繁荣。


而阅读理解是问答系统的核心问题。其中,斯坦福大学在2016年推出的数据集SQuAD成为了近年来最受瞩目的阅读理解任务。可以说SQuAD对问答系统的重要性,与ImageNet在计算机视觉领域的意义相差无几。


之所以如此,主要得益于SQuAD的巨大规模,它包含了536篇文章,以及107785个问题,并且采取了F1与EM两种分类标准来评价,保证了模型评价的客观性。



上图中是SQuAD当前的排行榜,直到近期,谷歌大脑团队和CMU联合推出QANet拔得头筹,将EM值提高到了84.454,F1值也提高到了90.490。并且,难得的是,与其他团队动辄10几个小时的训练时间相比,QANet仅仅需要45分钟的训练时间。


https://arxiv.org/abs/1804.09541


请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“QANET” 就可以获取Bengio 65页  Question answering & QANet PPT下载链接~ 


附原文PPT

-END-

专 · 知


人工智能领域主题知识资料查看与加入专知人工智能服务群

【专知AI服务计划】专知AI知识技术服务会员群加入人工智能领域26个主题知识资料全集获取欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询


请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请加专知小助手微信(扫一扫如下二维码添加),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~



关注专知公众号,获取人工智能的专业知识!

点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员