Few-shot named entity recognition (NER) aims at identifying named entities based on only few labeled instances. Most existing prototype-based sequence labeling models tend to memorize entity mentions which would be easily confused by close prototypes. In this paper, we proposed a Prototypical Semantic Decoupling method via joint Contrastive learning (PSDC) for few-shot NER. Specifically, we decouple class-specific prototypes and contextual semantic prototypes by two masking strategies to lead the model to focus on two different semantic information for inference. Besides, we further introduce joint contrastive learning objectives to better integrate two kinds of decoupling information and prevent semantic collapse. Experimental results on two few-shot NER benchmarks demonstrate that PSDC consistently outperforms the previous SOTA methods in terms of overall performance. Extensive analysis further validates the effectiveness and generalization of PSDC.


翻译:少样本命名实体识别旨在基于少量标注实例识别命名实体。大多数现有的基于原型的序列标注模型倾向于记忆实体提及,这会让接近的原型容易混淆。本文提出了一种基于联合对比学习的原型语义分离方法(PSDC)用于少样本命名实体识别。具体地,我们通过两种遮盖策略来将类别特定原型和上下文语义原型解耦,以引导模型专注于两种不同的语义信息进行推断。此外,我们进一步引入联合对比学习目标,以更好地整合两种分离信息并防止语义坍塌。在两个少样本命名实体识别基准上的实验结果表明,PSDC在总体性能方面始终优于之前的最佳方法。广泛的分析进一步验证了PSDC的有效性和泛化性。

0
下载
关闭预览

相关内容

【ICCV2021】多层次对比学习的跨模态检索方法
专知会员服务
23+阅读 · 2021年10月24日
【AAAI2021】对比聚类,Contrastive Clustering
专知会员服务
78+阅读 · 2021年1月30日
【AAAI2021】小样本学习多标签意图检测
专知会员服务
56+阅读 · 2020年12月8日
浅聊对比学习(Contrastive Learning)
极市平台
2+阅读 · 2022年7月26日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
31+阅读 · 2020年9月21日
VIP会员
相关资讯
相关论文
Arxiv
31+阅读 · 2020年9月21日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员