Most compilers for machine learning (ML) frameworks need to solve many correlated optimization problems to generate efficient machine code. Current ML compilers rely on heuristics based algorithms to solve these optimization problems one at a time. However, this approach is not only hard to maintain but often leads to sub-optimal solutions especially for newer model architectures. Existing learning based approaches in the literature are sample inefficient, tackle a single optimization problem, and do not generalize to unseen graphs making them infeasible to be deployed in practice. To address these limitations, we propose an end-to-end, transferable deep reinforcement learning method for computational graph optimization (GO), based on a scalable sequential attention mechanism over an inductive graph neural network. GO generates decisions on the entire graph rather than on each individual node autoregressively, drastically speeding up the search compared to prior methods. Moreover, we propose recurrent attention layers to jointly optimize dependent graph optimization tasks and demonstrate 33%-60% speedup on three graph optimization tasks compared to TensorFlow default optimization. On a diverse set of representative graphs consisting of up to 80,000 nodes, including Inception-v3, Transformer-XL, and WaveNet, GO achieves on average 21% improvement over human experts and 18% improvement over the prior state of the art with 15x faster convergence, on a device placement task evaluated in real systems.


翻译:机器学习( ML) 框架的多数编译者需要解决许多相关的优化问题才能生成高效的机器代码。 当前 ML 编译者依靠基于逻辑的算法来一次解决这些优化问题。 然而, 这种方法不仅很难维持, 而且常常导致亚最佳的解决方案, 特别是对于较新的模型架构。 文献中现有的基于学习的方法样本效率低下, 解决单一优化问题, 并且不普遍采用看不见的图表, 使其无法在实践中部署。 为了解决这些限制, 我们提议了一种基于基于超导图形神经网络的可缩放连续关注机制的计算图形优化( GO) 。 Go 生成整个图形而非每个单个的不优化模型决定, 与以前的方法相比, 急剧加快搜索速度。 此外, 我们提议了反复的注意层, 以联合优化依赖的图形优化任务, 并展示与Tensorflow默认优化相比, 3%-60% 的速率优化。 在由真实的80, 18000 NO 系统组成的代表制图集上, 以18% 的升级 和 之前的系统, 15x 的升级, 之前的系统, 之前的升级, 之前的系统, 和升级, 之前的系统, 之前的升级, 和升级, 之前的系统, 升级, 和升级, 15x 升级, 超过前的系统, 升级, 升级, 。

0
下载
关闭预览

相关内容

专知会员服务
44+阅读 · 2020年10月31日
2019年机器学习框架回顾
专知会员服务
35+阅读 · 2019年10月11日
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Arxiv
0+阅读 · 2021年4月14日
Arxiv
4+阅读 · 2018年9月11日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
24+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Top
微信扫码咨询专知VIP会员