内容概要:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。图神经网络(GNN)被提出来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图分析工具。

本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了vanilla GNN模型。然后介绍了vanilla模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

作者:

刘知远,清华大学计算机系自然语言处理实验室, 副教授。2006年获得清华大学计算机科学与技术系学士学位,2011年获得博士学位。他的研究兴趣是自然语言处理和社会计算。在IJCAI、AAAI、ACL、EMNLP等国际期刊和会议上发表论文60余篇。

http://nlp.csai.tsinghua.edu.cn/~lzy/index_cn.html

周界是清华大学计算机科学与技术系硕士二年级学生。他于2016年获得清华大学学士学位。他的研究兴趣包括图形神经网络和自然语言处理。

图书目录:

  • 前言
  • 致谢
  • 第一章: 引言
  • 第二章: 数学和图的基础知识
  • 第三章: 神经网络的基础知识
  • 第四章: Vanilla 图神经网络
  • 第五章: 图卷积网络
  • 第六章: 图递归网络
  • 第七章: 图注意力网络
  • 第八章 : 图残差网络
  • 第九章: 同图形型的变体
  • 第十章: 高级训练方法的变体
  • 第十一章: 一般框架
  • 第十二章: 应用——结构场景
  • 第十三章: 应用——非结构性场景
  • 第十四章: 应用——其他场景
  • 第十五章: 开放资源
  • 第十六章: 结论
  • 参考书目
成为VIP会员查看完整内容
0
143

相关内容

由汤志远、李蓝天、王东组织撰写的《语音识别基本法》一书近日将由电子工业出版社出版。CSLT公众号“清语赋”将顺序刊载该书的全部章节。该书以语音识别为基础任务,介绍了语音识别的 基础原理、主流方法、Kaldi的实现,同时给出若干深入探讨的话题,包括去噪,关键词检出、领域自适应等。最后,该书还对语音识别的相关任务做了总结性介绍,包括说话人识别、语种识别、 情绪识别、语音合成等。该书面向对语音信号处理技术感兴趣的入门级读者。通过该书,读者不仅可以掌握语音识别的基础内容,而且可以了解语音信息处理的相关领域进展,取得实践知识。

地址:

http://cslt.riit.tsinghua.edu.cn/news.php?title=News-2020-07-10-1

成为VIP会员查看完整内容
0
31

语义表示是自然语言处理的基础,我们需要将原始文本数据中的有用信息转换为计算机能够理解的语义表示,才能实现各种自然语言处理应用。表示学习旨在从大规模数据中自动学习数据的语义特征表示,并支持机器学习进一步用于数据训练和预测。以深度学习为代表的表示学习技术,能够灵活地建立对大规模文本、音频、图像、视频等无结构数据的语义表示,显著提升语音识别、图像处理和自然语言处理的性能,近年来引发了人工智能的新浪潮。本书是第一本完整介绍自然语言处理表示学习技术的著作。书中全面介绍了表示学习技术在自然语言处理领域的最新进展,对相关理论、方法和应用进行了深入介绍,并展望了未来的重要研究方向。

本书全面介绍了自然语言处理表示学习技术的理论、方法和应用,内容包括三大部分:第一部分介绍了单词、短语、句子和文档等不同粒度语言单元的表示学习技术;第二部分介绍了与自然语言密切相关的世界知识、语言知识、复杂网络和跨模态数据的表示学习技术;第三部分整理了相关开放资源与工具,并探讨了面向自然语言处理的表示学习技术面临的重要挑战和未来研究方向。本书对于自然语言处理和人工智能基础研究具有一定的参考意义,既适合专业人士了解自然语言处理和表示学习的前沿热点,也适合机器学习、信息检索、数据挖掘、社会网络分析、语义Web等其他相关领域学者和学生作为参考读物。

成为VIP会员查看完整内容
0
66

题目: Introduction to Graph Neural Networks

简介:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。提出了图神经网络(GNN)来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析工具。本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了香草GNN模型。然后介绍了vanil la模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书将min分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

深度学习在许多领域都取得了可喜的进展,例如计算机视觉和自然语言处理。这些任务中的数据通常以欧几里得表示。但是,许多学习任务需要处理包含元素之间丰富的关系信息的非欧氏图数据,例如建模物理系统,学习分子指纹,预测蛋白质界面等。图神经网络(GNN)是基于深度学习的方法,在图域上运行。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图形分析方法。本书全面介绍了图神经网络的基本概念,模型和应用。它从数学模型和神经网络的基础开始。在第一章中,它对GNN的基本概念进行了介绍,目的是为读者提供一个概览。然后介绍了GNN的不同变体:图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。这些最差的结果是将通用的深度学习技术转化为图形,例如卷积神经网络,递归神经网络,注意力机制和跳过连接。此外,这本书介绍了GNN在结构场景(物理,化学,知识图谱),非结构场景(图像,文本)和其他场景(生成模型,组合优化)中的不同应用。最后,这本书列出了相关的数据集,开源平台和GNN的实现。本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

成为VIP会员查看完整内容
Introduction to Graph Neural Networks.pdf
0
56

题目: Graph Neural Networks:A Review of Methods and Applications

简介: 许多学习任务需要处理图形数据,该图形数据包含元素之间的关系信息。对物理系统进行建模,学习分子指纹,预测蛋白质界面以及对疾病进行分类,都需要从图输入中学习模型。在诸如从文本和图像之类的非结构数据中学习的其他领域中,对提取结构的推理,例如句子的依存关系树和图像的场景图,是一个重要的研究课题,它也需要图推理模型。图神经网络(GNN)是连接器模型,可通过在图的节点之间传递消息来捕获图的依赖性。与标准神经网络不同,图神经网络保留一种状态,该状态可以表示来自其邻域的任意深度的信息。尽管已经发现难以训练原始图神经网络来固定点,但是网络体系结构,优化技术和并行计算的最新进展已使他们能够成功学习。近年来,基于图卷积网络(GCN)和门控图神经网络(GGNN)的系统已经在上述许多任务上展示了突破性的性能。在本综述中,我们对现有的图神经网络模型进行了详细的回顾,对应用程序进行了系统分类,并提出了四个未解决的问题,供以后研究。

作者简介: 周杰,教授,清华大学自动化系党委书记,教授,博士生导师。

成为VIP会员查看完整内容
0
200

内容摘要: 个性化推荐在当前消费场景中起着至关重要的作用。本教程主要包括两个部分:基础和趋势。在第一部分中,我们将介绍个性化推荐系统的基本问题,包括用户意图和需求,挑战性问题和最新技术。在第二部分中,我们将重点关注相关领域中的新趋势主题,包括(但不限于):用户满意度和评估方式,可解释的推荐,基于知识图谱和推论的推荐,跨域异构推荐以及公平性。最后,我们将讨论未来的发展方向。

作者简介: 张敏博士是清华大学计算机科学与技术系的终身教授,研究方向为Web搜索和推荐以及用户建模。她是CS部门智能技术与系统实验室的副主任,清华-MSRA媒体与搜索实验室的执行主任。她还担任过ACM TOIS副编辑。她已发表了100多篇论文,引用次数超过3500, H-index得分为32。她在2016年获得了北京科学技术奖(一等奖),并在2018年获得了中国大学计算机科学优秀教师奖。她还拥有12项专利。并且她与国际和国内企业进行了很多合作。

成为VIP会员查看完整内容
0
42

论坛嘉宾:杨成 北京邮电大学 助理教授

报告主题:图神经网络在自然语言处理领域的前沿应用

报告摘要:很多真实世界的应用场景需要处理包含着元素间丰富关系信息的图形式的数据。在例如物理系统建模、化学分子功能预测等领域中,数据都拥有显式的图结构;而在另一些例如文本的非结构数据中,如何从数据中抽取推理并利用如句法树等结构信息,也是相关领域中重要的研究方向。图神经网络可以通过节点间的信息传递(message passing)有效地捕捉结构信息。自该概念提出以来,图神经网络技术已经在自然语言处理、数据挖掘等多个领域得到了广泛的应用。本报告将重点介绍图神经网络技术在自然语言处理领域的前沿应用。

嘉宾简介:杨成,博士,北京邮电大学计算机学院助理教授,2019年7月毕业于清华大学计算机科学与技术系,从事自然语言处理与社会计算相关方向的研究,博士期间在国内外顶级期刊会议上发表多篇论文,Google Scholar累计获得引用近500次,并担任国内外顶级会议包括ACL、EMNLP、SMP等在内的程序委员会成员和期刊的审稿人。

成为VIP会员查看完整内容
0
45
小贴士
相关主题
相关资讯
相关论文
Ankit Pal,Muru Selvakumar,Malaikannan Sankarasubbu
18+阅读 · 3月22日
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
9+阅读 · 3月3日
Memory Augmented Graph Neural Networks for Sequential Recommendation
Chen Ma,Liheng Ma,Yingxue Zhang,Jianing Sun,Xue Liu,Mark Coates
5+阅读 · 2019年12月26日
Zhen Zhang,Jiajun Bu,Martin Ester,Jianfeng Zhang,Chengwei Yao,Zhi Yu,Can Wang
4+阅读 · 2019年11月14日
Hyper-SAGNN: a self-attention based graph neural network for hypergraphs
Ruochi Zhang,Yuesong Zou,Jian Ma
6+阅读 · 2019年11月6日
Yixin Nie,Adina Williams,Emily Dinan,Mohit Bansal,Jason Weston,Douwe Kiela
4+阅读 · 2019年10月31日
Yue Yu,Jie Chen,Tian Gao,Mo Yu
4+阅读 · 2019年4月22日
Diego Marcheggiani,Laura Perez-Beltrachini
6+阅读 · 2018年10月23日
Peter W. Battaglia,Jessica B. Hamrick,Victor Bapst,Alvaro Sanchez-Gonzalez,Vinicius Zambaldi,Mateusz Malinowski,Andrea Tacchetti,David Raposo,Adam Santoro,Ryan Faulkner,Caglar Gulcehre,Francis Song,Andrew Ballard,Justin Gilmer,George Dahl,Ashish Vaswani,Kelsey Allen,Charles Nash,Victoria Langston,Chris Dyer,Nicolas Heess,Daan Wierstra,Pushmeet Kohli,Matt Botvinick,Oriol Vinyals,Yujia Li,Razvan Pascanu
3+阅读 · 2018年6月4日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
4+阅读 · 2018年2月4日
Top