近年来,事件提取由于其在许多应用中的潜力而受到了广泛关注。然而,近期研究发现一些评估挑战,表明报告的分数可能无法反映真实性能。在这项工作中,我们首先识别并讨论这些评估挑战,包括由于关于数据的不同假设或不同数据预处理步骤而导致的不公平比较,当前评估框架的不完整性导致的潜在数据集偏差或数据切分偏差,以及先前研究的低可复现性。为了应对这些挑战,我们提出了TEXTEE,一个标准化、公平且可复现的事件提取基准。TEXTEE包含了针对不同领域十多个数据集的标准化数据预处理脚本和切分。此外,我们汇总并重新实现了近年来发表的十多种事件提取方法,并进行了全面的重新评估。最后,我们探讨了大型语言模型在事件提取中的能力,并讨论了一些未来的挑战。我们期望TEXTEE将作为事件提取领域的一个可靠基准,促进该领域的未来研究。

成为VIP会员查看完整内容
23

相关内容

《大型语言模型归因》综述
专知会员服务
60+阅读 · 2023年11月8日
【ICML2023】面向决策Transformer的未来条件无监督预训练
专知会员服务
41+阅读 · 2023年5月30日
【AAAI2023】深度神经网络的可解释性验证
专知会员服务
46+阅读 · 2022年12月6日
【AAAI2022】通过自训练加强反事实分类
专知会员服务
24+阅读 · 2021年12月10日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
33+阅读 · 2021年6月3日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
34+阅读 · 2020年6月22日
时空数据挖掘:综述
专知
15+阅读 · 2022年6月30日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
114+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
278+阅读 · 2023年3月31日
Arxiv
41+阅读 · 2023年3月26日
Arxiv
95+阅读 · 2023年3月24日
Arxiv
13+阅读 · 2023年3月17日
VIP会员
相关主题
相关VIP内容
《大型语言模型归因》综述
专知会员服务
60+阅读 · 2023年11月8日
【ICML2023】面向决策Transformer的未来条件无监督预训练
专知会员服务
41+阅读 · 2023年5月30日
【AAAI2023】深度神经网络的可解释性验证
专知会员服务
46+阅读 · 2022年12月6日
【AAAI2022】通过自训练加强反事实分类
专知会员服务
24+阅读 · 2021年12月10日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
33+阅读 · 2021年6月3日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
34+阅读 · 2020年6月22日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员