Open intent classification, which aims to correctly classify the known intents into their corresponding classes while identifying the new unknown (open) intents, is an essential but challenging task in dialogue systems. In this paper, we introduce novel K-center contrastive learning and adjustable decision boundary learning (CLAB) to improve the effectiveness of open intent classification. First, we pre-train a feature encoder on the labeled training instances, which transfers knowledge from known intents to unknown intents. Specifically, we devise a K-center contrastive learning algorithm to learn discriminative and balanced intent features, improving the generalization of the model for recognizing open intents. Second, we devise an adjustable decision boundary learning method with expanding and shrinking (ADBES) to determine the suitable decision conditions. Concretely, we learn a decision boundary for each known intent class, which consists of a decision center and the radius of the decision boundary. We then expand the radius of the decision boundary to accommodate more in-class instances if the out-of-class instances are far from the decision boundary; otherwise, we shrink the radius of the decision boundary. Extensive experiments on three benchmark datasets clearly demonstrate the effectiveness of our method for open intent classification. For reproducibility, we submit the code at: https://github.com/lxk00/CLAP


翻译:用 K 中心对比学习和可调决策边界的有效开放意图分类 摘要:在对话系统中,开放意图分类是一个旨在正确将已知意图分类到各自的类别中,同时识别新的未知(开放)意图的重要但具有挑战性的任务。在本文中,我们引入了新颖的 K 中心对比学习和可调决策边界学习(CLAB)来提高开放意图分类的效果。首先,我们在标记的训练实例上预训练特征编码器,将已知意图向未知意图传递知识。具体而言,我们设计了一个 K 中心对比学习算法来学习有区分性和平衡性的意图特征,提高模型识别开放意图的泛化能力。其次,我们设计了一种可调的决策边界学习方法,具有扩张和收缩(ADBES),以确定合适的决策条件。具体而言,我们为每个已知意图类别学习一个决策边界,它由决策中心和决策边界的半径组成。然后,如果非类中实例远离决策边界,则将决策边界的半径扩展以容纳更多的类内实例;否则,我们会缩小决策边界的半径。在三个基准数据集上进行的大量实验清晰地证明了我们的方法对于开放意图分类的有效性。为了可重现性,我们在 https://github.com/lxk00/CLAP 上提交代码。

0
下载
关闭预览

相关内容

在具有两个类别的统计分类问题中,决策边界或决策面是将基础向量空间划分为两组的超曲面,每个类别一个。 分类器会将决策边界一侧的所有点归为一类,并将另一侧的所有点归为另一类。 决策边界是问题空间中分类器的输出标签不明确的区域。如果决策面是超平面,则分类问题是线性的,并且类别是线性可分离的。 决策界限并不总是很明确。 也就是说,从特征空间中的一个类到另一个类的过渡不是不连续的,而是渐进的。 这种效果在基于模糊逻辑的分类算法中很常见,其中一类或另一类的成员资格不明确。
专知会员服务
30+阅读 · 2021年6月12日
《行为与认知机器人学》,241页pdf
专知会员服务
52+阅读 · 2021年4月11日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年6月5日
VIP会员
相关资讯
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员