情感自动识别是一个活跃的研究课题,具有广泛的应用前景。由于人工标注成本高和标签不可避免的模糊性,情感识别数据集的发展在规模和质量上都受到了限制。因此,如何在有限的数据资源下建立有效的模型是关键挑战之一。之前的研究已经探索了不同的方法来应对这一挑战,包括数据增强、迁移学习和半监督学习等。然而,这些现有方法的缺点包括:训练不稳定、迁移过程中的性能损失大、或改进幅度小。

在本研究中,我们提出了一种基于跨模态分布匹配的半监督多模态情感识别模型,该模型在假设跨模态内部情绪状态在话语层面一致的前提下,利用大量的未标记数据来增强模型训练。

我们在两个基准数据集IEMOCAP和MELD上进行了广泛的实验来评估所提出的模型。实验结果表明,该半监督学习模型能够有效地利用未标记数据,并结合多种模态来提高情绪识别性能,在相同条件下优于其他先进的方法。与现有方法相比,该模型还利用了说话者和交互上下文等附加的辅助信息,从而达到了竞争能力。

成为VIP会员查看完整内容
41

相关内容

【KDD2020】 半监督迁移协同过滤推荐
专知会员服务
19+阅读 · 2020年10月21日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
33+阅读 · 2020年9月2日
专知会员服务
10+阅读 · 2020年9月1日
【ACMMM2020】零样本语义分割的上下文感知特征生成
专知会员服务
15+阅读 · 2020年8月21日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
59+阅读 · 2020年5月25日
AAAI 2020 | 多模态基准指导的生成式多模态自动文摘
AI科技评论
16+阅读 · 2020年1月5日
7篇必读ACM MM 2019论文:图神经网络+多媒体
新智元
43+阅读 · 2019年11月9日
【泡泡图灵智库】基于有限姿态监督的单目三维重建
泡泡机器人SLAM
5+阅读 · 2019年9月6日
ACL 2018 论文解读 | 基于深度强化学习的远程监督关系抽取
黑龙江大学自然语言处理实验室
15+阅读 · 2018年12月10日
通过时空模型迁移学习的无监督的跨数据集行人重新识别
统计学习与视觉计算组
8+阅读 · 2018年10月23日
论文浅尝 | 远程监督关系抽取的生成式对抗训练
开放知识图谱
17+阅读 · 2018年7月12日
Teacher-Student Training for Robust Tacotron-based TTS
Arxiv
29+阅读 · 2019年3月13日
Arxiv
3+阅读 · 2018年11月12日
Arxiv
4+阅读 · 2018年11月7日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
5+阅读 · 2018年3月6日
Arxiv
3+阅读 · 2017年8月15日
VIP会员
相关VIP内容
相关论文
Teacher-Student Training for Robust Tacotron-based TTS
Arxiv
29+阅读 · 2019年3月13日
Arxiv
3+阅读 · 2018年11月12日
Arxiv
4+阅读 · 2018年11月7日
Implicit Maximum Likelihood Estimation
Arxiv
7+阅读 · 2018年9月24日
Arxiv
11+阅读 · 2018年5月13日
Arxiv
5+阅读 · 2018年3月6日
Arxiv
3+阅读 · 2017年8月15日
微信扫码咨询专知VIP会员