直播 | AAAI 2021：如何缓解GNN预训练和微调之间的优化误差？

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到腾讯微信事业群应用研究员陆元福，为大家解读其发表于 AAAI 2021 的最新工作。对本期主题感兴趣的小伙伴，1 月 28 日（周四）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

传统 GNN 预训练是一个两阶段的流程，即先在大规模图数据集上进行预训练，进而在下游数据上进行微调。但是，通过对两阶段优化目标的分析，我们发现这两个步骤之间是存在一些差异的，这一差异在一定程度上影响预训练模型的迁移效果。因此，在本文中，我们考虑如何缓解传统预训练和微调两个步骤之间差异，从而更好的实现知识迁移。

基于此，我们提出了一种自监督预训练策略，充分利用无标签的图数据，并在两个大规模数据集上取得了显著提升。同时，我们还发布了一个包含百万量级子图的大规模图数据，可用于图分类等任务。代码及数据已公开。

论文标题：

Learning to Pre-train Graph Neural Networks

论文链接：

https://yuanfulu.github.io/publication/AAAI-L2PGNN.pdf

代码链接：

https://github.com/rootlu/L2P-GNN

本次分享的具体内容有：  

• 在传统的 GNN 预训练模型中，存在预训练和微调之间有差异的问题

• 为了缓解这一差异，我们提出了一种自监督的预训练模型

• 在两个大规模数据集上，所提出的模型取得了显著提升。

嘉宾介绍

 陆元福  / 腾讯微信事业群应用研究员  

陆元福，腾讯微信事业群应用研究员 ，硕士毕业于北京邮电大学计算机学院，主要研究方向：graph embedding、recommender systems 和 meta learning。目前以第一（学生）作者在 IEEE TKDE、KDD、AAAI 和 CIKM 等会议发表相关论文多篇。

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。