为了研究像Stack Overflow这样的社区问答(CQA)平台,人们提出了各种数据挖掘任务。这些任务之间的相关性通过多任务学习(MTL)为彼此提供了有用的学习信号。然而,由于这些任务的高度异质性,很少有现有的工作能够在一个统一的框架中共同解决它们。为了解决这一难题,我们开发了一种基于多关系图的MTL模型——异构多任务图同构网络(Heterogeneous Multi-Task graph Isomorphism Network, HMTGIN),该模型有效地解决了异构CQA任务。在每次训练前向传递中,HMTGIN通过图同构网络的扩展和跳跃连接嵌入输入的CQA论坛图。嵌入然后在所有特定任务的输出层共享,以计算各自的损失。此外,利用两个基于任务关系领域知识的跨任务约束对联合学习进行正则化。在评估中,嵌入在不同的任务特定的输出层之间共享,以做出相应的预测。据我们所知,HMTGIN是第一个能够从多关系图的角度处理CQA任务的MTL模型。为了评估HMTGIN的有效性,我们从Stack Overflow中构建了一个具有200多万个节点的大规模多关系图CQA数据集。大量实验表明: (1) HMTGIN在5个任务上优于所有基线; (2) 提出的MTL策略和跨任务约束具有显著优势。

https://arxiv.org/abs/2110.02059

成为VIP会员查看完整内容
12

相关内容

【CIKM2021】用领域知识增强预训练语言模型的问题回答
专知会员服务
16+阅读 · 2021年11月18日
专知会员服务
14+阅读 · 2021年9月29日
专知会员服务
20+阅读 · 2021年7月19日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
67+阅读 · 2021年4月27日
【AAAI2021】层次推理图神经网络
专知会员服务
68+阅读 · 2020年12月27日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
知识图谱嵌入(KGE):方法和应用的综述
专知
54+阅读 · 2019年8月25日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
Arxiv
7+阅读 · 2019年6月20日
Arxiv
6+阅读 · 2018年6月18日
VIP会员
相关VIP内容
【CIKM2021】用领域知识增强预训练语言模型的问题回答
专知会员服务
16+阅读 · 2021年11月18日
专知会员服务
14+阅读 · 2021年9月29日
专知会员服务
20+阅读 · 2021年7月19日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
67+阅读 · 2021年4月27日
【AAAI2021】层次推理图神经网络
专知会员服务
68+阅读 · 2020年12月27日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
微信扫码咨询专知VIP会员