图神经网络在许多基于图的任务中得到了广泛的应用,如节点分类、链路预测和节点聚类。GNNs的性能优势主要来自于对图的边缘执行特征传播和平滑,因此需要足够的连接性和标签信息来进行有效传播。不幸的是,许多现实世界的网络在边缘和标签方面都是稀疏的,这导致了GNN的次优性能。最近对这个稀疏问题的兴趣集中在自训练方法上,它用伪标签扩展监督信号。然而,由于伪标签的质量和数量都不理想,自训练方法本身并不能充分发挥提炼稀疏图学习性能的潜力。在本文中,我们提出了ROD,一种新的接收感知的在线知识提取方法用于稀疏图学习。我们为ROD设计了三种监督信号:多尺度接收感知的图知识、基于任务的监督和丰富的提炼知识,允许知识以同行教学的方式在线迁移。为了提取隐藏在多尺度接收领域中的知识,ROD明确要求个体学生模型保持不同层次的位置信息。对于给定的任务,每个学生根据自己的接受量表知识进行预测,同时结合多尺度知识动态地建立一个强大的教师。我们的方法已经在9个数据集和各种基于图的任务上进行了广泛的评估,包括节点分类、链接预测和节点聚类。结果表明,ROD算法达到了最先进的性能,对图稀疏性具有更强的鲁棒性。

https://www.zhuanzhi.ai/paper/ff1be0c70de3f486fcb3bc2166e469e9

成为VIP会员查看完整内容
0
10

相关内容

在许多数据科学应用中,如推荐系统、在线广告、医疗等,对表格数据进行预测是一项重要的任务。表格数据被结构成行和列,每一行作为数据样本,每一列作为特性属性。表格数据的列和行都带有可以提高模型预测性能的有用模式。然而,大多数现有模型关注的是跨列模式,而忽略了跨行模式,因为它们独立处理单个样本。在这项工作中,我们提出了一个通用的学习框架,名为检索与交互机(RIM),它充分利用表格数据中的横行和横列模式。具体来说,RIM首先利用搜索引擎技术高效地检索表中有用的行来辅助目标行标签预测,然后利用特征交互网络捕捉目标行与被检索行之间的跨列模式,从而做出最终的标签预测。我们对三个重要任务的11个数据集进行了广泛的实验,即CTR预测(分类)、top-n推荐(排名)和评分预测(回归)。实验结果表明,RIM在不同的基准上取得了显著的改进,证明了RIM的优越性和有效性。

https://www.zhuanzhi.ai/paper/753ed3f1b041ebbb1c804ed9f67590dd

成为VIP会员查看完整内容
0
14

图神经网络(GNNs)被广泛用于学习一种强大的图结构数据表示。最近的研究表明,将知识从自监督任务迁移到下游任务可以进一步改善图的表示。然而,自监督任务与下游任务在优化目标和训练数据上存在内在的差距。传统的预训练方法可能对知识迁移不够有效,因为它们不能适应下游任务。为了解决这一问题,我们提出了一种新的迁移学习范式,该范式可以有效地将自监督任务作为辅助任务来帮助目标任务。在微调阶段,我们的方法将不同的辅助任务与目标任务进行自适应的选择和组合。我们设计了一个自适应辅助损失加权模型,通过量化辅助任务与目标任务之间的一致性来学习辅助任务的权重。此外,我们通过元学习来学习权重模型。我们的方法可以运用于各种迁移学习方法,它不仅在多任务学习中有很好的表现,而且在预训练和微调中也有很好的表现。在多个下游任务上的综合实验表明,所提出的方法能够有效地将辅助任务与目标任务相结合,与现有的方法相比,显著提高了性能。

https://www.zhuanzhi.ai/paper/852db932624d6feeb7bbd32e67772b27

成为VIP会员查看完整内容
0
28

联邦学习(federal Learning, FL)是一种去中心化的机器学习范式,其中全局服务器迭代地聚合本地用户的模型参数,而不访问他们的数据。用户异质性给FL带来了重大挑战,这可能导致漂移的全局模型收敛缓慢。为了解决这个问题,最近出现了知识蒸馏(Knowledge Distillation),它使用来自异构用户的聚合知识来精炼服务器模型,而不是直接聚合他们的模型参数。然而,这种方法依赖于代理数据集,因此除非满足这些前提条件,否则是不切实际的。此外,没有充分利用集成知识来指导局部模型学习,这可能会影响聚合模型的质量。在这项工作中,我们提出了一种无数据的知识蒸馏方法来解决异构的FL,其中服务器学习一个轻量级的生成器以无数据的方式集成用户信息,然后将这些信息广播给用户,使用学习到的知识作为归纳偏差来调节本地训练。理论支持的实证研究表明,与现状相比,我们的方法使用更少的通信轮次,使FL具有更好的泛化性能。

https://www.zhuanzhi.ai/paper/662ba057e6661b256a53516378ffbf30

成为VIP会员查看完整内容
0
18

在真实的应用中,数据通常以增长的方式出现,其中数据量和类的数量可能会动态增加。这将给学习带来重大挑战:随着数据量或类的数量不断增加,人们必须立即调整神经模型的容量,以获得良好的性能。现有的方法要么忽视数据增长的本质,要么寻求对给定数据集独立搜索最优体系结构,因此无法针对变化的数据及时调整体系结构。为了解决这一问题,我们提出了一种神经结构自适应方法,即adaptive eXpert (AdaXpert),可以在不断增长的数据上有效地调整以前的结构。具体来说,我们引入了一个体系结构调整器,根据以前的体系结构以及当前和以前数据分布之间的不同程度,为每个数据快照生成合适的体系结构。此外,我们提出一个适应条件来确定调整的必要性,从而避免不必要的和耗时的调整。在两种增长场景(增加数据量和类数)上的大量实验证明了所提方法的有效性。

https://www.zhuanzhi.ai/paper/5b09e4a225a2ba1040ba9848b5a5cd24

成为VIP会员查看完整内容
0
20

推荐系统(RS)采用知识蒸馏,这是一种模型压缩技术,用从预训练的大型教师模型迁移的知识来训练紧凑的学生模型。最近的研究表明,从教师的中间层迁移知识显著提高了学生的推荐质量。但是,它们是逐点迁移个体表示的知识,因此存在一个局限,即RS的主要信息在于表示空间中的关系。本文提出了一种新的拓扑蒸馏方法,通过将建立在教师空间关系上的拓扑结构传递给学生来指导学生进行拓扑蒸馏。我们首先观察到,简单地让学生学习整个拓扑结构并不总是有效的,甚至会降低学生的表现。我们证明,因为与老师相比,学生的能力是非常有限的,学习整个拓扑结构对学生来说是令人生畏的。为了解决这一问题,我们提出了一种新的分层拓扑蒸馏(HTD)方法,该方法可以分层地对拓扑进行蒸馏,以应对较大的容量缺口。我们在真实数据集上的大量实验表明,提出的方法明显优于先进的竞争对手。我们还提供了深入的分析,以确定提取RS拓扑的好处。

https://www.zhuanzhi.ai/paper/4eff9a6ca0a1450628e09261c3b9dd2d

成为VIP会员查看完整内容
0
14

MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou

近年来,利用图神经网络解决药物相关问题在生物医学领域得到了迅速发展。然而,就像任何其他深度架构一样,GNN是数据需求型的。虽然在现实世界中要求标签通常是昂贵的,但以一种无监督的方式对GNN进行预处理已经被积极地探索。其中,图对比学习通过最大化成对图增强之间的互信息,已被证明对各种下游任务是有效的。然而,目前的图对比学习框架有两个局限性。首先,增强是为一般图设计的,因此对于某些领域可能不够合适或不够强大。第二,对比方案只学习对局部扰动不变的表示,因此不考虑数据集的全局结构,这也可能对下游任务有用。因此,本文研究生物医学领域中存在分子图的图对比学习。我们提出了一个新的框架MoCL,利用领域知识在局部和全局水平上帮助表示学习。局部层次的领域知识指导扩展过程,这样在不改变图语义的情况下引入变体。全局层次的知识对整个数据集图之间的相似性信息进行编码,并帮助学习具有更丰富语义的表示。整个模型通过双对比目标学习。我们评估了在线性和半监督设置下的多种分子数据集上的MoCL,结果表明MoCL达到了最先进的性能。

成为VIP会员查看完整内容
0
24

来自传感器网络、可穿戴设备和物联网(IoT)设备的大量数据凸显了对利用去中心化数据的时空结构的高级建模技术的需求,因为需要边缘计算和许可(数据访问)问题。虽然联邦学习(FL)已经成为一种无需直接数据共享和交换的模型训练框架,但有效地建模复杂的时空依赖关系以提高预测能力仍然是一个悬而未决的问题。另一方面,最先进的时空预测模型假定对数据的访问不受限制,而忽略了数据共享的约束。在跨节点联合学习的约束下,我们提出了跨节点联合图神经网络(CNFGNN)的联邦时空模型,该模型使用基于图神经网络(GNN)的体系结构对底层图结构进行显式编码,这要求节点网络中的数据在每个节点上本地生成,并且保持分散。CNFGNN通过分离设备上的时间动态建模和服务器上的空间动态,利用交替优化来降低通信成本,促进边缘设备上的计算。交通流预测任务的计算结果表明,CNFGNN在不增加边缘设备的计算成本的情况下,在传感和归纳学习环境下均取得了最佳的预测性能,同时通信成本较低。

成为VIP会员查看完整内容
0
31

元强化学习(Meta - reinforcement learning, Meta - rl)从以前的任务中提取知识,实现对新任务的快速适应。尽管最近取得了一些进展,但对元强化学习的有效探索仍然是稀疏奖励任务中的一个关键挑战,因为它需要在元训练和适应中快速找到与任务相关的信息性经验。针对这一挑战,我们明确建模了一个元强化学习的探索策略学习问题,该问题与开发策略学习分离,并引入了一个新的赋权驱动的探索目标,该目标旨在最大限度地获取信息以进行任务识别。我们得到了相应的内在奖励,并开发了一个新的非策略元强化学习框架,通过共享任务推理知识,有效地学习独立的上下文感知的探索和开发策略。实验结果表明,在不同的稀疏奖励MuJoCo运动任务和更复杂的稀疏奖励元世界任务中,我们的meta-RL方法显著优于最先进的基线。

https://www.zhuanzhi.ai/paper/8972d5b6f921acf471ca8b89afc45759

成为VIP会员查看完整内容
0
16

自监督学习已被广泛应用于从未标记图像中获取可转移的表示。特别是,最近的对比学习方法在下游图像分类任务中表现出了令人印象深刻的性能。这些对比方法主要集中在语义保留变换下的图像级上生成不变的全局表示,容易忽略局部表示的空间一致性,因此在目标检测和实例分割等本地化任务的预处理中存在一定的局限性。此外,在现有的对比方法中使用的积极裁剪视图可以最小化单个图像中语义不同区域之间的表示距离。

在本文中,我们提出了一种用于多目标和特定位置任务的空间一致表示学习算法(SCRL)。特别地,我们设计了一个新的自监督目标,试图根据几何平移和缩放操作产生随机裁剪局部区域的连贯空间表示。在使用基准数据集的各种下游定位任务上,提出的SCRL显示了相对于图像级监督前训练和最先进的自监督学习方法的显著性能改进。代码将会被发布。

https://www.zhuanzhi.ai/paper/86fc25415eef2e6e1ed9019494ce1fcf

成为VIP会员查看完整内容
0
34

多标签文本分类涉及到从标签集中为每个给定文档分配其最相关标签的问题。通常,给定文档的元数据和标签的层次结构在实际应用是可用的。然而,现有的研究大多只关注于文本信息的建模,也有少数尝试使用元数据或层次信号,但没有同时使用它们。在本文中,我们通过在一个大的标签层次结构(例如,有成千上万个标签)中形式化元数据感知文本分类的问题来弥补这一差距。为了解决这个问题,我们提出了MATCH解决方案——一个利用元数据和层次结构信息的端到端框架。为了整合元数据,我们预先训练文本和元数据在同一空间的嵌入,并利用完全连接的注意力来捕捉它们之间的相互关系。为了充分利用标签层次结构,我们提出了不同的方法来规整每个子标签的参数和输出概率。在两个具有大规模标签层次的大规模文本数据集上进行的大量实验证明了在最先进的深度学习基线上匹配的有效性。

https://www.zhuanzhi.ai/paper/f6f0aa93aec55dee2e115f8c40147b79

成为VIP会员查看完整内容
0
10
小贴士
相关VIP内容
专知会员服务
14+阅读 · 8月13日
专知会员服务
28+阅读 · 7月25日
专知会员服务
20+阅读 · 7月8日
专知会员服务
14+阅读 · 6月18日
专知会员服务
16+阅读 · 5月24日
专知会员服务
34+阅读 · 3月12日
相关论文
Julien Lange,Anastasia Mavridou,Larisa Safina,Alceste Scalas
0+阅读 · 9月30日
Yixuan Su,Lei Shu,Elman Mansimov,Arshit Gupta,Deng Cai,Yi-An Lai,Yi Zhang
0+阅读 · 9月29日
Hu Xu,Gargi Ghosh,Po-Yao Huang,Dmytro Okhonko,Armen Aghajanyan,Florian Metze Luke Zettlemoyer Christoph Feichtenhofer
0+阅读 · 9月28日
Yunyao Mao,Ning Wang,Wengang Zhou,Houqiang Li
4+阅读 · 8月8日
Wentao Zhang,Yuezihan Jiang,Yang Li,Zeang Sheng,Yu Shen,Xupeng Miao,Liang Wang,Zhi Yang,Bin Cui
6+阅读 · 7月25日
Guillaume Salha,Stratis Limnios,Romain Hennequin,Viet Anh Tran,Michalis Vazirgiannis
4+阅读 · 2019年5月24日
Hang Yan,Xipeng Qiu,Xuanjing Huang
4+阅读 · 2019年4月9日
Hierarchical-Pointer Generator Memory Network for Task Oriented Dialog
Dinesh Raghu,Nikhil Gupta, Mausam
4+阅读 · 2018年7月11日
Yan Huang,Jinsong Xu,Qiang Wu,Zhedong Zheng,Zhaoxiang Zhang,Jian Zhang
11+阅读 · 2018年1月29日
Shafin Rahman,Salman H. Khan,Fatih Porikli
3+阅读 · 2017年10月26日
Top