CCF房产行业聊天问答匹配 Baseline

10 月 18 日 AINLP
CCF房产行业聊天问答匹配 Baseline

赛题介绍

贝壳找房是以技术驱动的品质居住服务平台,“有尊严的服务者、更美好的居住”,是贝壳的使命。在帮助客户实现更美好的居住过程中,客户会和服务者(房产经纪人)反复深入交流对居住的要求,这个交流发生在贝壳APP上的IM中。

IM交流是双方建立信任的必要环节,客户需要在这个场景下经常向服务者咨询许多问题,而服务者是否为客户提供了感受良好、解答专业的服务就很重要,贝壳平台对此非常关注。因此,需要准确找出服务者是否回答了客户的问题,并进一步判断回答得是否准确得体,随着贝壳平台规模扩大,需要AI参与这个过程。

赛题任务

本次赛题的任务是:给定IM交流片段,片段包含一个客户问题以及随后的经纪人若干IM消息,从这些随后的经纪人消息中找出一个是对客户问题的回答。

任务要点:

  1. 数据来自一个IM聊天交流过程;
  2. 选取的客户问题之前的聊天内容不会提供;
  3. 提供客户问题之后的经纪人发送的内容;
  4. 如果在这些经纪人发送内容之间原本来穿插了其他客户消息,不会提供;
  5. 这些经纪人发送内容中只有1条是对客户问题的回答,把他找出来。

参赛者需要根据训练语料,构建出泛化能力强的模型,对不在训练语料中的测试数据做识别,从测试数据中为客户问题找出对应经纪人回答。希望参赛者能构建基于语义的识别模型,模型类型不限。

难度与挑战:

  1. IM聊天的随意性和碎片化,各个地方的语言习惯不同。
  2. 要求模型的泛化性好。在测试集上模型的度量指标。
  3. 要求模型的复杂度小。最终提交模型需要符合生产环境使用要求。

赛题奖励

单赛题奖(奖金特指本赛题)

  • 一等奖 本赛题1支团队 每支队伍4万元
  • 二等奖 本赛题2支团队 每支队伍2万元
  • 三等奖 本赛题2支团队 每支队伍1万元

评测标准

其中:

  • 精度:识别为1并且真实标签为1的经纪人回复条数 / 识别为1的经纪人回复条数
  • 召回:识别为1并且真实标签为1的经纪人回复条数 / 真实标签为1的经纪人回复条数

baseline思路

  • 训练步骤
  1. 将bert的中文预训练模型放在本地,自行指定目录。下载路径为:https://storage.googleapis.com/bert_models/2018_11_03/chinese_L-12_H-768_A-12.zip
  • 2.train.sh脚本配置预训练模型目录,如:BERT_BASE_DIR=/home/syzong/nlp_deeplearning/chinese_L-12_H-768_A-12

  • 3.执行 train.sh 开始模型训练,参数自行调整。ps:建议放后台训练:nohup ./train.sh &

  • 模型预测

执行 predict.sh 即可,运行完会生成 test_results.tsv 文件,即为提交结果文件 。base分数75分左右。

  • 数据构造原理如下

  • requirements:

tensorflow >= 1.11.0   # CPU Version of TensorFlow.
tensorflow-gpu  >= 1.11.0  # GPU version of TensorFlow.

点击阅读原文,获取比赛地址!




由于微信平台算法改版,公号内容将不再以时间排序展示,如果大家想第一时间看到我们的推送,强烈建议星标我们和给我们多点点【在看】。星标具体步骤为:

(1)点击页面最上方"AINLP",进入公众号主页。

(2)点击右上角的小点点,在弹出页面点击“设为星标”,就可以啦。

感谢支持,比心

欢迎加入AINLP竞赛交流群
进群请添加AINLP小助手微信 AINLPer(id: ainlper),备注竞赛交流

推荐阅读

这个NLP工具,玩得根本停不下来

征稿启示| 200元稿费+5000DBC(价值20个小时GPU算力)

完结撒花!李宏毅老师深度学习与人类语言处理课程视频及课件(附下载)

从数据到模型,你可能需要1篇详实的pytorch踩坑指南

如何让Bert在finetune小数据集时更“稳”一点

模型压缩实践系列之——bert-of-theseus,一个非常亲民的bert压缩方法

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具(NER)哪家强?

学自然语言处理,其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLPer(id:ainlper),备注工作/研究方向+加群目的。


阅读至此了,分享、点赞、在看三选一吧🙏

登录查看更多
6

相关内容

IM:IFIP/IEEE International Symposium on Integrated Network Management。 Explanation:综合网络管理国际研讨会。 Publisher:IFIP/IEEE SIT: http://dblp.uni-trier.de/db/conf/im/index.html

知识图谱以概念、实体及其关系的方式建模世界知识,在实际任务中得到了越来越广泛的应用。为了介绍 知识图谱的相关技术、评估当前技术的性能水平、了解不同技术的优缺点,揭示未来的发展方向,CCKS 2019 举办了 一个包含 6 个任务的评测竞赛,覆盖了实体、关系、事件及问答等多类知识图谱关键技术,吸引了 1600 余支队伍参 加。本报告系统整理了参赛队伍使用的技术、资源和策略,可以为评估当前知识图谱技术水平,提供构建知识图谱系 统的技术参考,揭示未来的发展方向提供一份有价值的参考。

成为VIP会员查看完整内容
0
81
小贴士
相关资讯
2020语言与智能技术竞赛-事件抽取方案整理(第一波
深度学习自然语言处理
4+阅读 · 7月12日
SMP 2019 第三届中文人机对话技术评测顺利落幕
哈工大SCIR
11+阅读 · 2019年8月19日
SMP2018中文人机对话技术评测
哈工大SCIR
7+阅读 · 2019年3月6日
2019语言与智能技术竞赛报名开启
中国计算机学会
16+阅读 · 2019年2月26日
剖析腾讯知文,智能问答机器人路在何方?
AI前线
10+阅读 · 2018年11月3日
AI 竞赛 | 2018 机器阅读理解技术竞赛
AI研习社
5+阅读 · 2018年3月16日
相关VIP内容
专知会员服务
29+阅读 · 10月14日
专知会员服务
13+阅读 · 9月25日
专知会员服务
46+阅读 · 4月17日
【阿里技术论文】AliMe KBQA:阿里小蜜中的结构化知识问答
专知会员服务
42+阅读 · 2019年12月14日
【阿里技术干货】知识结构化在阿里小蜜中的应用
专知会员服务
48+阅读 · 2019年12月14日
相关论文
Guneet S. Dhillon,Pratik Chaudhari,Avinash Ravichandran,Stefano Soatto
6+阅读 · 3月1日
Liang Yao,Chengsheng Mao,Yuan Luo
8+阅读 · 2019年9月7日
Fréderic Godin,Anjishnu Kumar,Arpit Mittal
4+阅读 · 2019年4月3日
Junlang Zhan,Hai Zhao
3+阅读 · 2019年3月1日
Babak Hosseini,Barbara Hammer
3+阅读 · 2018年5月2日
Xiaoxiao Guo,Hui Wu,Yu Cheng,Steven Rennie,Rogerio Schmidt Feris
5+阅读 · 2018年5月1日
Qingyao Ai,Keping Bi,Jiafeng Guo,W. Bruce Croft
3+阅读 · 2018年4月23日
Lin Qiu,Hao Zhou,Yanru Qu,Weinan Zhang,Suoheng Li,Shu Rong,Dongyu Ru,Lihua Qian,Kewei Tu,Yong Yu
4+阅读 · 2018年4月10日
Haque Ishfaq,Assaf Hoogi,Daniel Rubin
3+阅读 · 2018年4月3日
Nesreen K. Ahmed,Ryan Rossi,John Boaz Lee,Xiangnan Kong,Theodore L. Willke,Rong Zhou,Hoda Eldardiry
3+阅读 · 2018年2月7日
Top