会员服务
Transformer · 图神经网络 ·
2020 年 3 月 1 日
Transformers就是图神经网络？NTU-Chaitanya Joshi论述: 是GNN的一个特例
专知会员服务
专知会员服务
专知，提供专业可信的知识分发服务，让认知协作更快更好！

工程师朋友经常问我:Graph Deep Learning听起来很棒，但是有什么商业上的成功故事吗?它是否部署在实际应用中?

最明显的例子是Pinterest、阿里巴巴和twitter的推荐系统，它的成功之处在于，Transformer架构席卷了NLP行业。

通过这篇文章，我想建立图神经网络(GNNs)和Transformers之间的联系。我将讨论NLP和GNN社区中模型架构背后的直觉，使用方程和图形进行连接，并讨论我们如何合作来推动进展。

让我们从讨论模型架构-表示学习的目的开始。

成为VIP会员查看完整内容
https://graphdeeplearning.github.io/post/transformers-are-gnns/
The Illustrated Transformer The Annotated Transformer
28

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
专知会员服务
156+阅读 · 2020年6月30日
【ICML2020】持续图神经网络，Continuous Graph Neural Networks
【ICML2020】持续图神经网络，Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
专知会员服务
126+阅读 · 2020年6月7日
近期必读的五篇计算机视觉顶会CVPR 2020【图神经网络 (GNN) 】相关论文-Part 3
近期必读的五篇计算机视觉顶会CVPR 2020【图神经网络 (GNN) 】相关论文-Part 3
专知会员服务
88+阅读 · 2020年5月19日
一份简短《图神经网络GNN》笔记，入门小册
一份简短《图神经网络GNN》笔记，入门小册
专知会员服务
224+阅读 · 2020年4月11日
【CVPR2020】图神经网络中的几何原理连接
【CVPR2020】图神经网络中的几何原理连接
专知会员服务
56+阅读 · 2020年4月8日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知会员服务
62+阅读 · 2020年1月10日
必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
专知会员服务
58+阅读 · 2020年1月10日
五篇 ICCV 2019 的【图神经网络（GNN）+CV】相关论文
五篇 ICCV 2019 的【图神经网络（GNN）+CV】相关论文
专知会员服务
14+阅读 · 2020年1月9日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
图神经网络（Graph Neural Networks，GNN）综述
图神经网络（Graph Neural Networks，GNN）综述
极市平台
103+阅读 · 2019年11月27日
【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载
【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载
专知
20+阅读 · 2019年10月13日
六篇 EMNLP 2019 最新公布的【图神经网络(GNN)+NLP】相关论文
六篇 EMNLP 2019 最新公布的【图神经网络(GNN)+NLP】相关论文
专知
178+阅读 · 2019年10月8日
五篇 ICCV 2019 最新公布的【图神经网络（GNN）+CV】相关论文-Part2
五篇 ICCV 2019 最新公布的【图神经网络（GNN）+CV】相关论文-Part2
专知
55+阅读 · 2019年10月1日
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
专知
90+阅读 · 2019年8月27日
近期必读的7篇 IJCAI 2019【图神经网络（GNN）】相关论文
近期必读的7篇 IJCAI 2019【图神经网络（GNN）】相关论文
专知
10+阅读 · 2019年8月20日
【GNN】深度学习之上，图神经网络（GNN ）崛起
【GNN】深度学习之上，图神经网络（GNN ）崛起
产业智能官
16+阅读 · 2019年8月15日
重新思考图卷积网络：GNN只是一种滤波器
重新思考图卷积网络：GNN只是一种滤波器
新智元
28+阅读 · 2019年6月3日
图嵌入（Graph embedding）综述
图嵌入（Graph embedding）综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
干货｜基于图卷积网络的图深度学习
干货｜基于图卷积网络的图深度学习
DataCanvas大数据云平台
9+阅读 · 2017年6月8日
Multi-Scale Self-Attention for Text Classification
Arxiv
4+阅读 · 2019年12月2日
Hierarchical Graph Pooling with Structure Learning
Arxiv
13+阅读 · 2019年11月14日
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Arxiv
4+阅读 · 2019年11月5日
Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction
Arxiv
9+阅读 · 2019年10月12日
Geometric Graph Convolutional Neural Networks
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Arxiv
10+阅读 · 2019年9月5日
Self-Attention Graph Pooling
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Universal Transformers
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Arxiv
13+阅读 · 2018年9月7日
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Arxiv
9+阅读 · 2018年7月16日
VIP会员
相关主题
Transformer
图神经网络
相关VIP内容
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
近期必读的五篇KDD 2020【图神经网络 (GNN) 】相关论文_Part2
专知会员服务
156+阅读 · 2020年6月30日
【ICML2020】持续图神经网络，Continuous Graph Neural Networks
【ICML2020】持续图神经网络，Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
【KDD2020】XGNN-可解释图神经网络，从模型级解释构建可信赖GNN
专知会员服务
126+阅读 · 2020年6月7日
近期必读的五篇计算机视觉顶会CVPR 2020【图神经网络 (GNN) 】相关论文-Part 3
近期必读的五篇计算机视觉顶会CVPR 2020【图神经网络 (GNN) 】相关论文-Part 3
专知会员服务
88+阅读 · 2020年5月19日
一份简短《图神经网络GNN》笔记，入门小册
一份简短《图神经网络GNN》笔记，入门小册
专知会员服务
224+阅读 · 2020年4月11日
【CVPR2020】图神经网络中的几何原理连接
【CVPR2020】图神经网络中的几何原理连接
专知会员服务
56+阅读 · 2020年4月8日
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
近期必读的12篇KDD 2019【图神经网络（GNN）】相关论文
专知会员服务
62+阅读 · 2020年1月10日
必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
专知会员服务
58+阅读 · 2020年1月10日
五篇 ICCV 2019 的【图神经网络（GNN）+CV】相关论文
五篇 ICCV 2019 的【图神经网络（GNN）+CV】相关论文
专知会员服务
14+阅读 · 2020年1月9日
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
六篇 EMNLP 2019【图神经网络(GNN)+NLP】相关论文
专知会员服务
71+阅读 · 2019年11月3日
热门VIP内容
相关资讯
图神经网络（Graph Neural Networks，GNN）综述
图神经网络（Graph Neural Networks，GNN）综述
极市平台
103+阅读 · 2019年11月27日
【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载
【必读】2019年深度学习自然语言处理最新十大发展趋势, 附报告下载
专知
20+阅读 · 2019年10月13日
六篇 EMNLP 2019 最新公布的【图神经网络(GNN)+NLP】相关论文
六篇 EMNLP 2019 最新公布的【图神经网络(GNN)+NLP】相关论文
专知
178+阅读 · 2019年10月8日
五篇 ICCV 2019 最新公布的【图神经网络（GNN）+CV】相关论文-Part2
五篇 ICCV 2019 最新公布的【图神经网络（GNN）+CV】相关论文-Part2
专知
55+阅读 · 2019年10月1日
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
近期必读的7篇IJCAI 2019【图神经网络（GNN）】相关论文-Part2
专知
90+阅读 · 2019年8月27日
近期必读的7篇 IJCAI 2019【图神经网络（GNN）】相关论文
近期必读的7篇 IJCAI 2019【图神经网络（GNN）】相关论文
专知
10+阅读 · 2019年8月20日
【GNN】深度学习之上，图神经网络（GNN ）崛起
【GNN】深度学习之上，图神经网络（GNN ）崛起
产业智能官
16+阅读 · 2019年8月15日
重新思考图卷积网络：GNN只是一种滤波器
重新思考图卷积网络：GNN只是一种滤波器
新智元
28+阅读 · 2019年6月3日
图嵌入（Graph embedding）综述
图嵌入（Graph embedding）综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
干货｜基于图卷积网络的图深度学习
干货｜基于图卷积网络的图深度学习
DataCanvas大数据云平台
9+阅读 · 2017年6月8日
相关论文
Multi-Scale Self-Attention for Text Classification
Arxiv
4+阅读 · 2019年12月2日
Hierarchical Graph Pooling with Structure Learning
Arxiv
13+阅读 · 2019年11月14日
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Invariance-Preserving Localized Activation Functions for Graph Neural Networks
Arxiv
4+阅读 · 2019年11月5日
Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction
Arxiv
9+阅读 · 2019年10月12日
Geometric Graph Convolutional Neural Networks
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Syntax-Aware Aspect Level Sentiment Classification with Graph Attention Networks
Arxiv
10+阅读 · 2019年9月5日
Self-Attention Graph Pooling
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Universal Transformers
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
HyperGCN: Hypergraph Convolutional Networks for Semi-Supervised Classification
Arxiv
13+阅读 · 2018年9月7日
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Arxiv
9+阅读 · 2018年7月16日
微信扫码咨询专知VIP会员
Top