【新书】图神经网络导论,清华大学刘知远老师著作

2020 年 6 月 12 日 专知
【新书】图神经网络导论,清华大学刘知远老师著作

地址:

http://nlp.csai.tsinghua.edu.cn/~lzy/books/gnn_2020.html


内容概要:


在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。图神经网络(GNN)被提出来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图分析工具。

本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了vanilla  GNN模型。然后介绍了vanilla模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。


作者:


刘知远,清华大学计算机系自然语言处理实验室, 副教授。2006年获得清华大学计算机科学与技术系学士学位,2011年获得博士学位。他的研究兴趣是自然语言处理和社会计算。在IJCAI、AAAI、ACL、EMNLP等国际期刊和会议上发表论文60余篇。

http://nlp.csai.tsinghua.edu.cn/~lzy/index_cn.html


周界是清华大学计算机科学与技术系硕士二年级学生。他于2016年获得清华大学学士学位。他的研究兴趣包括图形神经网络和自然语言处理。


图书目录:

  • 前言

  • 致谢

  • 第一章: 引言

  • 第二章: 数学和图的基础知识

  • 第三章: 神经网络的基础知识

  • 第四章: Vanilla 图神经网络

  • 第五章: 图卷积网络

  • 第六章: 图递归网络

  • 第七章: 图注意力网络

  • 第八章 : 图残差网络

  • 第九章:  同图形型的变体

  • 第十章: 高级训练方法的变体

  • 第十一章: 一般框架

  • 第十二章: 应用——结构场景

  • 第十三章: 应用——非结构性场景

  • 第十四章: 应用——其他场景

  • 第十五章: 开放资源

  • 第十六章: 结论

  • 参考书目


书本样例:



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GNN41” 可以获取《图神经网络导论》新书样例专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
61

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
148

由汤志远、李蓝天、王东组织撰写的《语音识别基本法》一书近日将由电子工业出版社出版。CSLT公众号“清语赋”将顺序刊载该书的全部章节。该书以语音识别为基础任务,介绍了语音识别的 基础原理、主流方法、Kaldi的实现,同时给出若干深入探讨的话题,包括去噪,关键词检出、领域自适应等。最后,该书还对语音识别的相关任务做了总结性介绍,包括说话人识别、语种识别、 情绪识别、语音合成等。该书面向对语音信号处理技术感兴趣的入门级读者。通过该书,读者不仅可以掌握语音识别的基础内容,而且可以了解语音信息处理的相关领域进展,取得实践知识。

地址:

http://cslt.riit.tsinghua.edu.cn/news.php?title=News-2020-07-10-1

成为VIP会员查看完整内容
0
62

语义表示是自然语言处理的基础,我们需要将原始文本数据中的有用信息转换为计算机能够理解的语义表示,才能实现各种自然语言处理应用。表示学习旨在从大规模数据中自动学习数据的语义特征表示,并支持机器学习进一步用于数据训练和预测。以深度学习为代表的表示学习技术,能够灵活地建立对大规模文本、音频、图像、视频等无结构数据的语义表示,显著提升语音识别、图像处理和自然语言处理的性能,近年来引发了人工智能的新浪潮。本书是第一本完整介绍自然语言处理表示学习技术的著作。书中全面介绍了表示学习技术在自然语言处理领域的最新进展,对相关理论、方法和应用进行了深入介绍,并展望了未来的重要研究方向。

本书全面介绍了自然语言处理表示学习技术的理论、方法和应用,内容包括三大部分:第一部分介绍了单词、短语、句子和文档等不同粒度语言单元的表示学习技术;第二部分介绍了与自然语言密切相关的世界知识、语言知识、复杂网络和跨模态数据的表示学习技术;第三部分整理了相关开放资源与工具,并探讨了面向自然语言处理的表示学习技术面临的重要挑战和未来研究方向。本书对于自然语言处理和人工智能基础研究具有一定的参考意义,既适合专业人士了解自然语言处理和表示学习的前沿热点,也适合机器学习、信息检索、数据挖掘、社会网络分析、语义Web等其他相关领域学者和学生作为参考读物。

成为VIP会员查看完整内容
0
120

题目: Introduction to Graph Neural Networks

简介:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。提出了图神经网络(GNN)来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析工具。本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了香草GNN模型。然后介绍了vanil la模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书将min分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

深度学习在许多领域都取得了可喜的进展,例如计算机视觉和自然语言处理。这些任务中的数据通常以欧几里得表示。但是,许多学习任务需要处理包含元素之间丰富的关系信息的非欧氏图数据,例如建模物理系统,学习分子指纹,预测蛋白质界面等。图神经网络(GNN)是基于深度学习的方法,在图域上运行。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析方法。本书全面介绍了图神经网络的基本概念,模型和应用。它从数学模型和神经网络的基础开始。在第一章中,它对GNN的基本概念进行了介绍,目的是为读者提供一个概览。然后介绍了GNN的不同变体:图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。这些最差的结果是将通用的深度学习技术转化为图形,例如卷积神经网络,递归神经网络,注意力机制和跳过连接。此外,这本书介绍了GNN在结构场景(物理,化学,知识图谱),非结构场景(图像,文本)和其他场景(生成模型,组合优化)中的不同应用。最后,这本书列出了相关的数据集,开源平台和GNN的实现。本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

成为VIP会员查看完整内容
Introduction to Graph Neural Networks.pdf
0
125

题目: Graph Neural Networks:A Review of Methods and Applications

简介: 许多学习任务需要处理图形数据,该图形数据包含元素之间的关系信息。对物理系统进行建模,学习分子指纹,预测蛋白质界面以及对疾病进行分类,都需要从图输入中学习模型。在诸如从文本和图像之类的非结构数据中学习的其他领域中,对提取结构的推理,例如句子的依存关系树和图像的场景图,是一个重要的研究课题,它也需要图推理模型。图神经网络(GNN)是连接器模型,可通过在图的节点之间传递消息来捕获图的依赖性。与标准神经网络不同,图神经网络保留一种状态,该状态可以表示来自其邻域的任意深度的信息。尽管已经发现难以训练原始图神经网络来固定点,但是网络体系结构,优化技术和并行计算的最新进展已使他们能够成功学习。近年来,基于图卷积网络(GCN)和门控图神经网络(GGNN)的系统已经在上述许多任务上展示了突破性的性能。在本综述中,我们对现有的图神经网络模型进行了详细的回顾,对应用程序进行了系统分类,并提出了四个未解决的问题,供以后研究。

作者简介: 周杰,教授,清华大学自动化系党委书记,教授,博士生导师。

成为VIP会员查看完整内容
0
296

报告题目:图神经网络在自然语言处理中的应用

报告摘要:自然语言处理中的很多结构,包括序列结构、树状结构、以及有环图结构,可以归纳为普通的图结构。对图结构的神经网络编码,有助于自然语言处理任务中提取有用信息。近几年来,图神经网络在自然语言处理中得到一系列研究。这个讲座总结图神经网络的两种基本模式,即卷积图神经网络和循环图神经网络,并且讨论他们在自然语言处理中的应用。具体任务包括语义理解、信息抽取和问答等。

嘉宾介绍:张岳目前是西湖大学的副教授。他的研究兴趣包括自然语言处理和计算金融。他一直致力于基础句法分析,文本生成,自然语言生成,机器翻译,信息抽取,情感分析和股票市场分析等工作。他获得了IALP 2017和COLING 2018的最佳论文奖。张岳担任Transactions of ACL编委,ACM TALLIP副主编和IEEE Transactions on Big Data副主编,以及COLING 2014/18,NAACL 2015/19,EMNLP 2015/17/19,ACL 2017/18/19的领域主席。张岳在NAACL2010,ACL 2014和EMNLP 2016/18做过讲习班。

成为VIP会员查看完整内容
CIPS_SSATT_2019_图神经网络在自然语言处理中的应用_张岳.pdf
0
20
小贴士
相关VIP内容
最新《图神经网络模型与应用》综述论文
专知会员服务
148+阅读 · 2020年8月2日
专知会员服务
62+阅读 · 2020年7月29日
专知会员服务
120+阅读 · 2020年7月11日
一份简短《图神经网络GNN》笔记,入门小册
专知会员服务
178+阅读 · 2020年4月11日
相关论文
Matthias Fey,Jan-Gin Yuen,Frank Weichert
4+阅读 · 2020年6月22日
Mining Disinformation and Fake News: Concepts, Methods, and Recent Advancements
Kai Shu,Suhang Wang,Dongwon Lee,Huan Liu
7+阅读 · 2020年1月2日
A Survey of the Usages of Deep Learning in Natural Language Processing
Daniel W. Otter,Julian R. Medina,Jugal K. Kalita
62+阅读 · 2019年9月11日
Bryan Wilder,Eric Ewing,Bistra Dilkina,Milind Tambe
4+阅读 · 2019年5月31日
Ye Liu,Hui Li,Alberto Garcia-Duran,Mathias Niepert,Daniel Onoro-Rubio,David S. Rosenblum
14+阅读 · 2019年3月13日
Yutian Chen,Yannis Assael,Brendan Shillingford,David Budden,Scott Reed,Heiga Zen,Quan Wang,Luis C. Cobo,Andrew Trask,Ben Laurie,Caglar Gulcehre,Aäron van den Oord,Oriol Vinyals,Nando de Freitas
7+阅读 · 2018年9月27日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Andreas Kamilaris,Francesc X. Prenafeta-Boldu
7+阅读 · 2018年7月31日
Abhinav Moudgil,Vineet Gandhi
3+阅读 · 2018年3月22日
Lizi Liao,Xiangnan He,Hanwang Zhang,Tat-Seng Chua
3+阅读 · 2017年5月14日
Top