图分类的目的是对图结构数据进行准确的信息提取和分类。在过去的几年里,图神经网络(GNNs)在图分类任务上取得了令人满意的成绩。然而,大多数基于GNNs的方法侧重于设计图卷积操作和图池操作,忽略了收集或标记图结构数据比基于网格的数据更困难。我们利用元学习来进行小样本图分类,以减少训练新任务时标记图样本的不足。更具体地说,为了促进图分类任务的学习,我们利用GNNs作为图嵌入主干,利用元学习作为训练范式,在图分类任务中快速捕获特定任务的知识并将其转移到新的任务中。为了提高元学习器的鲁棒性,我们设计了一种新的基于强化学习的步进控制器。实验表明,与基线相比,我们的框架运行良好。

成为VIP会员查看完整内容
0
41

相关内容

浙江大学,简称浙大,坐落于素有“人间天堂”美誉的历史文化名城杭州。前身是1897年创建的求是书院,是中国人自己最早创办的现代高等学府之一,是一所具有悠久历史的教育部直属全国重点大学,985、211工程重点建设高校。据ESI公布的数据,截至2015年9月,浙江大学18个学科进入世界学术机构前1%,居全国高校第二;7个学科进入世界前100位,4个学科进入世界前50位,居全国高校第一。

这篇文章是基于这篇论文“Meta-Graph: Few Shot Link Prediction via Meta Learning” by Joey Bose, Ankit Jain, Piero Molino, and William L. Hamilton.

许多真实世界的数据都是以图的结构呈现,因此,多年来基于图的机器学习研究一直是学术界研究的一个活跃领域。其中,一个流行基于图数据的机器学习的任务是链接预测,它涉及到预测图数据中节点之间缺失的关系/边。例如,在一个社交网络中,我们可能使用链接预测来支撑一个朋友推荐系统,或者在生物网络数据中,我们可能使用链接预测来推断药物、蛋白质和疾病之间可能的关系。然而,尽管链接预测很受欢迎,但是以前的工作通常只关注一个特定的问题设置:它通常假设链接预测是在一个大型图上执行的,并且这个图是相对完整的,即在训练过程中,至少有50%的真实边是可以观察到的。

在这项工作中,我们考虑了更有挑战性的小样本链接预测设置,其中的目标是对多个图执行链接预测,这些图只包含它们的真实、底层边的一小部分。这个任务的灵感来自于这样的应用程序:我们可以访问来自单个域的多个图,但是每个单独的图只包含真实的底层边的一小部分。例如,在生物环境中,高通量互作提供了从不同的组织、细胞类型和生物体估计数以千计的生物互作网络的可能性;然而,这些估计的关系可能是有噪音的和稀疏的,我们需要学习算法来利用这些多个图的信息来克服这种稀疏性。类似地,在电子商务和社交网络设置中,当我们必须快速地对稀疏估计的图进行预测时,比如最近将某个服务部署到新地区时,链接预测通常会产生很大的影响。换句话说,新的稀疏图的链接预测可以受益于从其他图(可能更密集的图)传输知识,假设存在可利用的共享结构。

我们介绍了一个新的框架元图,用于小样本链接预测,和以及相应的一系列基准测试。我们采用了经典的基于梯度的元学习公式对图域进行小样本分类。具体地说,我们把图上的分布看作是学习全局参数集的任务上的分布,并将此策略应用于训练能够进行小概率链路预测的图神经网络(GNNs)。为了进一步引导快速适应新图,我们还引入了图签名函数,该函数学习如何将输入图的结构映射到GNN链路预测模型的有效初始化点。我们在三个链接预测基准上对我们的方法进行了实验验证。我们发现我们的MetaGraph方法不仅实现了快速适应,而且在许多实验设置中收敛到更好的整体解决方案,在非元学习基线上收敛的AUC平均提高了5.3%。

小样本链接预测设置

给定一个分布在图p(G)上的分布,从中我们可以对一个训练图Gi = (Vi, Ei, Xi)进行抽样,其中Vi是节点集合,Ei是边集合,Xi是一个实值节点属性矩阵。我们假设每个示例图Gi都是一个简单的图,这意味着它只包含一种类型的关系,没有自环。我们进一步假设,对于每个图Gi,我们在训练期间只能访问少量的训练边E_train (其中|E_train| << |E|)。最后,我们假设p(G)是在一组相关图上定义的,不管它们是来自一个公共域还是具体的应用设置。

我们的目标是学习一个全局或元链接预测模型的样本训练图表Gi~p (G) (其中i=1,2...n)。有了这个元模型,随后我们可以快速学习局部链接预测模型从边的一个小子集内新采样图G*~p (G)。更具体地说,我们想找一个全局的参数θ,它可以在局部链接预测模型图G生成一个有效的参数初始化φ。

请注意,这与标准的链接预测设置有很大的不同,后者的目标是从单个图而不是图的分布中学习。它也不同于用于小样本分类的标准元学习,后者通常假设任务中个体预测是独立且同分布的,而与训练图中相互依赖的边相反。

方法:元图

我们的方法,元图,利用了图神经网络(GNNs)。原则上,它可以与多种基于GNNs的链路预测方法相结合,但我们采用了一种特定的GNN——变分图自动编码器(VGAEs)作为我们的基本链路预测框架。

Meta-Graph背后的关键思想是基于我们使用梯度元学习优化共享全局参数θ,用于初始化VGAE链接预测模型的参数。同时,该模型还学习了一个图签名函数,这是一个图的向量表示,我们使用它来调整VGAE模型的参数。如果模型观察到的图与当前正在检查的图相似,它就能够相应地调整模型参数。这有助于模型利用梯度下降的几个步骤来学习有效的参数。

如果我们给出一个采样的训练图Gi,我们使用两个学习组件的组合初始化VGAE链接预测模型的参数:

  • 全局参数θ,用于初始化VGAE模型所有的参数φ。φ参数优化的梯度下降的n步,尽管全局参数θ,通过二阶梯度下降优化提供一个有效的初始化点的任何图采样分布p(G)。
  • 图签名si =ψ(Gi),用于调节VGAE的激活模式。通过另一个GNN获得图的签名函数。像全局参数θ,类似地,图签名模型ψ是通过二阶梯度下降优化编码相似参数初始化的本地链接预测模型图元学习的目的。关于我们的图签名函数的更多信息,请参考我们的论文。

总的来说,训练的算法可以总结如下:

  • 采样一批训练图
  • 使用全局参数和签名函数初始化这些训练图的VGAE链接预测模型
  • 运行k个梯度下降步骤来优化这些VGAE模型
  • 使用二阶梯度下降更新全局参数和基于边验证集的签名函数

我们的论文详细介绍了元图的其他几个变体,它们在如何使用图形签名函数的输出来调节VGAE推理模型的激活方面有所不同。

实验

为了测试元图在真实环境中的工作方式,我们设计了三个新的基准来进行小样本链接预测。所有这些基准测试都包含一组从公共域绘制的图。在所有设置中,我们使用这些图的80%作为训练图,10%作为验证图,其中这些训练图和验证图用于优化全局模型参数(用于元图)或训练前权重(用于各种基线方法)。剩下的10%作为测试图,我们的目标是在这些测试图上训练一个模型,以达到较高的链接预测精度。

在这个小样本链接预测设置中,在边层和图层都有训练/验证/测试分割。我们使用训练边在每个图的基础上预测测试边的可能性,但我们也同时在多个图上对模型进行训练,目的是通过全局模型参数快速适应新的图。

我们的两个基准来自于蛋白质相互作用(PPI)网络和3D点云数据(FirstMM-DB)的标准多图数据集。第三种是基于AMINER引用数据的新型多图数据集,其中每个节点对应一篇论文,链接代表引用。对于所有数据集,我们通过对一个小子集(即,然后尝试预测不可见的边(20%的剩余边用于验证)。

一些基线对应于元图的修改或消融,包括模型无关元学习(MAML)的直接适应,一个微调的基线,在这里我们对VGAE按顺序观察的训练图进行预训练,并对测试图进行调优(称为 Finetune)。我们还考虑在每个测试图上单独训练一个VGAE(称为No Finetune)。我们为链接预测任务使用了另外两个标准基线,即DeepWalk和Adamic-Adar来进行比较,以确保元图能够提供实质性的改进。

结果

我们比较了元图和基线模型在两种情况下的表现,以了解模型适应新的不可见测试图的能力和速度。收敛设置,我们训练模型收敛,和快速适应设置,我们适应模型后,只执行5个梯度更新。在这两种设置中,我们使用测试图的10%、20%和30%的边进行训练,并对测试图的测试边进行测试。我们通过计算链路预测AUC来衡量性能。

对于收敛设置。我们发现Meta-Graph获得了最高的平均AUC,与MAML方法相比,相对改善了4.8%,与Finetune基线相比,相对改善了5.3%。当只使用10%的边时,元图的性能更强,这表明在处理非常有限的数据时该方法的潜力。

在快速适应设置中,我们再次发现Meta-Graph在除一个设置外的所有设置中都优于所有基线,与MAML相比平均相对改进9.4%,与Finetune基线相比平均相对改进8%。换句话说,元图不仅可以从有限的数据中学习,还可以快速地接收新数据,只需要很少的梯度步骤。

展望

在本研究中,我们引入了元图(Meta-Graph),这是一种解决小样本链路预测问题的方法,其目标是精确地训练ML模型,使其能够快速适应新的稀疏图数据。在实验上,我们观察到使用元图与在三个小样本链接预测变体基准上的基线相比,有显著的提高。

总的来说,这项工作适用于研究人员从一个域访问多个图,但其中每个单独的图只包含真实的底层边的一小部分。例如,在生物环境中,高通量互作提供了从不同的组织、细胞类型和生物体估计数以千计的生物互作网络的可能性;然而,这些估计的关系可能是嘈杂的和稀疏的,我们需要学习算法来利用这些多个图的信息来克服这种稀疏性。类似地,正如前面提到的,在电子商务和社交网络设置中,当我们必须快速地对稀疏估计的图进行预测时,比如最近将某个服务部署到新地区时,链接预测通常会产生很大的影响。换句话说,新的稀疏图的链接预测可以受益于从其他图(可能更密集的图)传输知识,假设存在可利用的共享结构。

成为VIP会员查看完整内容
0
42

元学习的研究越来越受到学者们的重视,从最初在图像领域的研究逐渐拓展到其他领域,目前推荐系统领域也出现了相关的研究问题,本文介绍了5篇基于元学习的推荐系统相关论文,包括用户冷启动推荐、项目冷启动推荐等。

  1. MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation

本文提出了一种新的推荐系统,解决了基于少量样本物品来估计用户偏好的冷启动问题。为了确定用户在冷启动状态下的偏好,现有的推荐系统,如Netflix,在启动初向用户提供物品选择,我们称这些物品为候选集。然后根据用户选择的物品做出推荐。以往的推荐研究有两个局限性:(1) 只有少量物品交互行为的用户推荐效果不佳,(2) 候选集合不足,无法识别用户偏好。为了克服这两个限制,我们提出了一种基于元学习的推荐系统MeLU。从元学习中,MeLU可以通过几个例子快速地应用于新任务,通过几个消费物品来估计新用户的偏好。此外,我们提供了一个候选集合选择策略,以确定自定义偏好估计的区分项目。我们用两个基准数据集对MeLU进行了验证,与两个对比模型相比,该模型的平均绝对误差至少降低了5.92%。我们还进行了用户研究实验来验证选择策略的有效性。

  1. Meta-Learning for User Cold-Start Recommendation 冷启动问题是对实际推荐系统的长期挑战。大多数现有的推荐算法依赖于大量的观测数据,对于很少交互的推荐场景来说是脆弱的。本文用少样本学习和元学习来解决这些问题。我们的方法是基于这样一种见解,即从几个例子中有一个很好的泛化,依赖于一个通用的模型初始化和一个有效的策略来使这个模型适应新出现的任务。为了实现这一点,我们将场景指定的学习与模型无关的序列元学习结合起来,并将它们统一到一个集成的端到端框架中,即场景指定的序列元学习者(或s^2 Meta)。我们的元学习器通过聚合来自各种预测任务的上下文信息来生成一个通用的初始模型,同时通过利用学习到的知识来有效地适应特定的任务。在各种现实世界数据集上的实验表明,我们提出的模型可以在在线推荐任务中获得对冷启动问题的最好效果。

  2. Sequential Scenario-Specific Meta Learner for Online Recommendation

冷启动问题是对实际推荐系统的长期挑战。大多数现有的推荐算法依赖于大量的观测数据,对于很少交互的推荐场景来说是脆弱的。本文用少样本学习和元学习来解决这些问题。我们的方法是基于这样一种见解,即从几个例子中有一个很好的泛化,依赖于一个通用的模型初始化和一个有效的策略来使这个模型适应新出现的任务。为了实现这一点,我们将场景指定的学习与模型无关的序列元学习结合起来,并将它们统一到一个集成的端到端框架中,即场景指定的序列元学习者(或s^2 Meta)。我们的元学习器通过聚合来自各种预测任务的上下文信息来生成一个通用的初始模型,同时通过利用学习到的知识来有效地适应特定的任务。在各种现实世界数据集上的实验表明,我们提出的模型可以在在线推荐任务中获得对冷启动问题的最好效果。

  1. A Meta-Learning Perspective on Cold-Start Recommendations for Items 矩阵分解(M F)是最流行的项目(item)推荐技术之一,但目前存在严重的冷启动问题。项目冷启动问题在一些持续输出项目的平台中显得特别尖锐(比如Tweet推荐)。在本文中,我们提出了一种元学习策略,以解决新项目不断产生时的项目冷启动问题。我们提出了两种深度神经网络体系结构,实现了我们的元学习策略。第一个体系结构学习线性分类器,其权重由项目历史决定,而第二个体系结构学习一个神经网络。我们评估了我们在Tweet推荐的现实问题上的效果,实验证明了我们提出的算法大大超过了MF基线方法。

  2. One-at-a-time: A Meta-Learning Recommender-System for Recommendation-Algorithm Selection on Micro Level

推荐算法的有效性通常用评价指标来评估,如均方根误差、F1或点击率CTR,在整个数据集上计算。最好的算法通常是基于这些总体度量来选择的,然而,对于所有用户、项目和上下文来说并没有一个单独的最佳算法。因此,基于总体评价结果选择单一算法并不是最优的。在本文中,我们提出了一种基于元学习的推荐方法,其目的是为每个用户-项目对选择最佳算法。我们使用MovieLens 100K和1m数据集来评估我们的方法。我们的方法(RMSE,100K:0.973;1M:0.908)没有优于单个的最佳算法SVD++(RMSE,100k:0.942;1M:0.887)。我们还探索了元学习者之间的区别,他们在每个实例(微级别),每个数据子集(中级)和每个数据集(全局级别)上进行操作。评估表明,与使用的总体最佳算法相比,一个假设完美的微级元学习器将提高RMSE 25.5%。

成为VIP会员查看完整内容
0
51

论文题目: Meta-GNN: On Few-shot Node Classification in Graph Meta-learning

摘要: 元学习作为一种模仿人类智能的可能方法,近来受到了极大的关注,即,学习新的知识和技能。现有的元学习方法多用于解决图像、文本等少数样本的学习问题,在欧几里得域比较常见。然而,将元学习应用于非欧几里得域的研究工作非常少,最近提出的图神经网络(GNNs)模型在处理图少样本学习问题时表现不佳。为此,我们提出了一种新的图元学习框架——元GNN,以解决图元学习环境中节点分类问题。该算法通过对多个相似的少样本学习任务进行训练,获得分类器的先验知识,然后利用标记样本数量较少的新类对节点进行分类。此外,Meta-GNN是一个通用模型,可以直接纳入任何现有的最先进的GNN。我们在三个基准数据集上的实验表明,我们的方法不仅在元学习范式中大大提高了节点分类性能,而且为任务适应提供了一个更通用、更灵活的模型。

论文作者: Fan Zhou, Chengtai Cao, Kunpeng Zhang, Goce Trajcevski, Ting Zhong, Ji Geng

成为VIP会员查看完整内容
0
52

论文题目: Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation

摘要: 模型无关元学习的目标是从相似的任务中获取元学习参数,以适应分布相同但梯度更新较少的新任务。由于模型选择的灵活性,这些框架在诸如小样本图像分类和增强学习等多个领域表现出了良好的性能。然而,此类框架的一个重要限制是,它们寻求在整个任务分布中共享的公共初始化,这极大地限制了它们能够学习的任务分布的多样性。在本文中,我们增强了MAML的能力,以识别从多模式任务分布中采样的任务模式,并通过梯度更新快速适应。具体来说,我们提出了一个多模态MAML (MMAML)框架,该框架能够根据所识别的模式调整其元学习先验参数,从而实现更高效的快速适应。我们在一组不同的小样本学习任务上对所提出的模型进行评估,包括回归、图像分类和强化学习。结果不仅证明了我们的模型在调整元学习先验以响应任务特征方面的有效性,而且表明了多模态分布的训练比单模态训练有更好的效果。

论文作者: Risto Vuorio, Shao-Hua Sun, Hexiang Hu, Joseph J. Lim

成为VIP会员查看完整内容
0
42

论文题目: Meta-Learning to Cluster

摘要: 聚类是探索性数据分析中最基本、最广泛应用的技术之一。然而,聚类的基本方法并没有真正改变:专业人员手工挑选特定于任务的聚类损失,以优化并适合给定的数据,以揭示底层聚类结构。某些类型的损失——例如k-means或其非线性版本:kernelized k-means(基于质心的)和DBSCAN(基于密度的)——由于它们在一系列应用中具有良好的经验性能,因此很受欢迎。尽管使用这些标准损失的聚类输出常常不能揭示底层结构,而且执行者必须自定义设计它们自己的变体。在这项工作中,我们采用了一种本质上不同的聚类方法:我们不是根据特定的聚类损失来拟合数据集,而是训练一个学习如何聚类的递归模型。该模型使用数据集的示例(作为输入)和相应的聚类标识(作为输出)作为训练对。通过提供多种类型的训练数据集作为输入,我们的模型能够很好地泛化不可见的数据集(新的集群任务)。实验表明,与标准的基准聚类技术相比,在简单的综合生成数据集或现有的真实数据集上进行训练,可以获得更好的聚类性能。我们的元聚类模型即使对于通常的深度学习模型表现较差的小数据集也能很好地工作。

作者: Yibo Jiang, Nakul Verma

成为VIP会员查看完整内容
0
27

论文题目: Meta-Learning with Dynamic-Memory-Based Prototypical Network for Few-Shot Event Detection

摘要: 事件检测(Event detection, ED)是事件抽取的一个子任务,包括识别触发器和对事件提及进行分类。现有的方法主要依赖于监督学习,并且需要大规模的带标记的事件数据集,不幸的是,这些数据集在许多实际的应用场景中并不容易获得。在本文中,我们将在有限标记数据条件下的ED任务考虑为一个小概率学习问题。提出了一种基于动态记忆的原型网络(DMB-PN),该网络利用动态记忆网络(DMN)不仅能更好地学习事件类型的原型,而且能对事件提及产生更健壮的句子编码。与传统的通过平均计算事件原型的网络不同,我们的模型更健壮,并且由于DMNs的多跳机制,能够多次从事件提及中提取上下文信息。实验结果表明,DMB-PN不仅比一系列基线模型更能有效地处理样本稀缺问题,而且在事件类型变化较大、实例数量极少时表现得更为稳健。

作者: Shumin Deng, Ningyu Zhang, Jiaojian Kang, Yichi Zhang, Wei Zhang, Huajun Chen

成为VIP会员查看完整内容
元学习与动态记忆为基础的原型网络的小样本突发事件检测.pdf
0
42
小贴士
相关论文
Ning Ma,Jiajun Bu,Jieyu Yang,Zhen Zhang,Chengwei Yao,Zhi Yu
20+阅读 · 2020年3月18日
Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
Risto Vuorio,Shao-Hua Sun,Hexiang Hu,Joseph J. Lim
20+阅读 · 2019年10月30日
Shumin Deng,Ningyu Zhang,Jiaojian Kang,Yichi Zhang,Wei Zhang,Huajun Chen
19+阅读 · 2019年10月25日
Meta-Learning with Implicit Gradients
Aravind Rajeswaran,Chelsea Finn,Sham Kakade,Sergey Levine
7+阅读 · 2019年9月10日
Logically-Constrained Reinforcement Learning
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
3+阅读 · 2018年12月6日
Joaquin Vanschoren
106+阅读 · 2018年10月8日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
8+阅读 · 2018年7月8日
Chengxiang Yin,Jian Tang,Zhiyuan Xu,Yanzhi Wang
4+阅读 · 2018年6月8日
Hamza Anwar,Quanyan Zhu
3+阅读 · 2018年2月27日
Jonas Gehring,Michael Auli,David Grangier,Denis Yarats,Yann N. Dauphin
3+阅读 · 2017年7月25日
Top