基于深度强化学习的快速芯片设计图规划方法。芯片布局规划是设计计算机芯片物理布局的工程任务。尽管经过五十年的研究,芯片布局规划仍然无法实现自动化,需要物理设计工程师花费数月的精力来制作可量产的布局。本文提出一种基于深度强化学习的芯片布局规划方法,在不到六个小时的时间里,自动生成了芯片布局规划图,这些布局规划图在所有关键指标上都优于或可与人类生成的布局规划图相媲美,包括功耗、性能和芯片面积。为实现这一目标,将芯片布局规划作为一个强化学习问题,开发了一种基于边缘的图卷积神经网络架构,能学习丰富的可迁移的芯片表示。利用过去的经验,在解决新的问题实例时变得更好、更快,使芯片设计可以由比任何人类设计师更有经验的智能体来完成。该方法被用来设计Google的下一代人工智能(AI)加速器,并有可能为每一代新产品节省数千小时的人工努力。更强大的人工智能设计的硬件将推动人工智能的进步,在这两个领域之间创造一种共生关系。

https://www.nature.com/articles/s41586-021-03544-w

成为VIP会员查看完整内容
0
9

相关内容

深度强化学习 (DRL) 是一种使用深度学习技术扩展传统强化学习方法的一种机器学习方法。 传统强化学习方法的主要任务是使得主体根据从环境中获得的奖赏能够学习到最大化奖赏的行为。然而,传统无模型强化学习方法需要使用函数逼近技术使得主体能够学习出值函数或者策略。在这种情况下,深度学习强大的函数逼近能力自然成为了替代人工指定特征的最好手段并为性能更好的端到端学习的实现提供了可能。

【导读】机器学习和系统芯片互相促进发展,近年来机器学习算法深刻改变了计算硬件资源的发展。最近谷歌发布了强化学习用于芯片布局的论文。在加州理工的《数据驱动算法设计》课程上,GOOGLE两位研究人员Azalia Mirhoseini & Anna Goldie做了《机器学习在系统和芯片设计》的报告,讲述了机器学习芯片设计技术,值得关注。Jeff Dean在Twitter做了推荐。

在过去的十年中,系统和硬件已经改变了机器学习。现在是机器学习改变系统和硬件的时候了。在芯片设计过程中,芯片布局(chip placement)可以说是其中最复杂和耗时的步骤了。芯片设计周期的缩短有助于硬件设备适应机器学习领域的快速发展,那么,机器学习能否助力芯片设计呢?最近,谷歌提出了一种基于强化学习的芯片布局方法。本报告内容包括:

  • 学习优化器件放置
  • 学习配分图
  • 学习优化芯片布局

概述

计算机芯片通常分为数十个模块,每个模块都是一个单独的模组,例如内存的子系统、计算单元以及控制逻辑的系统。这些模块可以通过网表以及宏(内存组件)和标准单元(逻辑门,例如 NAND、NOR 和 XOR)等电路组件图来描述,而所有这些组件均通过网格连接。

确定芯片如何布局(通常称为芯片的布局规划过程)是芯片设计过程中最复杂、最耗时的阶段之一,它涉及到将网表放置在芯片的画布(2D 网格)上,尽可能使得功率、性能和面积(PPA)降至最低,同时还要注意密度和布线拥塞方面的限制。

尽管对此方向进行了数十年的研究,但是行业内专家仍然需要迭代数周的时间才能完成一个满足多方面设计标准的解决方案。简单来说,其复杂性来自于几个主要层面:网表图的大小(数百万至数十亿个节点)、网表图放置的网格粒度,以及计算真实目标所产生的过高成本,如果使用行业标准的电子设计自动化工具这个计算过程可能要花费数小时(有时甚至超过一天)。

谷歌研究者将芯片布局看作一个强化学习问题,然后训练智能体将芯片网表(netlist)的节点放置在芯片画布(canvas)上。为了使强化学习策略泛化至新的芯片 block,研究者将表征学习置于预测芯片布局质量的监督任务中。通过设计能够在大量网表及其布局上准确预测奖励的神经架构,该研究生成输入网表的丰富特征嵌入。然后利用该架构作为策略和价值网络的编码器,实现迁移学习。

该研究旨在最小化芯片设计的 PPA(功耗、性能和面积)。研究者称,该方法能够在 6 小时内完成芯片布局设计,布局质量超过或匹配人类设计,而现有的基线方法需要人类专家参与,且往往需要数周时间才能完成。此外,谷歌还表示,该方法可以为谷歌加速器芯片(TPU)生成更优化的芯片放置方案,还适用于任意类型的芯片(ASIC)。 Chip Placement with Deep Reinforcement Learning

博客链接:http://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html

作者:Azalia Mirhoseini、Anna Goldie、Jeff Dean 等 论文链接:https://arxiv.org/pdf/2004.10746.pdf

摘要:在芯片设计过程中,芯片布局(chip placement)可以说是其中最复杂和耗时的步骤了。芯片设计周期的缩短有助于硬件设备适应机器学习领域的快速发展,那么,机器学习能否助力芯片设计呢?最近,谷歌提出了一种基于强化学习的芯片布局方法。

研究者将芯片布局看作一个强化学习问题,然后训练智能体将芯片网表(netlist)的节点放置在芯片画布(canvas)上。为了使强化学习策略泛化至新的芯片 block,研究者将表征学习置于预测芯片布局质量的监督任务中。通过设计能够在大量网表及其布局上准确预测奖励的神经架构,该研究生成输入网表的丰富特征嵌入。然后利用该架构作为策略和价值网络的编码器,实现迁移学习。

该研究旨在最小化芯片设计的 PPA(功耗、性能和面积)。研究者称,该方法能够在 6 小时内完成芯片布局设计,布局质量超过或匹配人类设计,而现有的基线方法需要人类专家参与,且往往需要数周时间才能完成。

成为VIP会员查看完整内容
0
45

【导读】深度学习和硬件怎样结合?计算机界神级人物、谷歌人工智能主管Jeff Dean发表了独自署名论文《The Deep Learning Revolution and Its Implications for Computer Architecture and Chip Design》,17页pdf论文,长文介绍了后摩尔定律时代的机器学习研究进展,以及他对未来发展趋势的预测判断。

在过去的十年里,机器学习,特别是基于人工神经网络的深度学习方法取得了一系列显著的进步,从而提高了我们在更广泛的领域建立更精确系统的能力,包括计算机视觉、语音识别、语言翻译和自然语言理解任务。这篇论文是2020年国际固态电路会议(ISSCC)的主题演讲的配套论文,讨论了机器学习的一些进展,以及这些进展对我们需要构建的计算设备的影响,特别是在后摩尔定律时代。它还讨论了一些方法,机器学习也可以帮助电路设计过程的某些方面。最后,它提供了至少一个有趣方向的草图,朝向更大规模的多任务模型,这些模型是稀疏激活的,并且使用了比今天的机器学习模型更动态的、基于实例和任务的路由。

成为VIP会员查看完整内容
0
22
小贴士
相关论文
Zhongwei Xie,Ling Liu,Lin Li,Luo Zhong
0+阅读 · 8月8日
Shuyi Qu,Zhenxing Niu,Kaizhu Huang,Jianke Zhu,Matan Protter,Gadi Zimerman,Yinghui Xu
0+阅读 · 8月5日
Shang-Hua Gao,Qi Han,Zhong-Yu Li,Pai Peng,Liang Wang,Ming-Ming Cheng
5+阅读 · 1月4日
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey
Sanmit Narvekar,Bei Peng,Matteo Leonetti,Jivko Sinapov,Matthew E. Taylor,Peter Stone
13+阅读 · 2020年3月10日
Fang Liu,Guoming Tang,Youhuizi Li,Zhiping Cai,Xingzhou Zhang,Tongqing Zhou
16+阅读 · 2019年11月7日
Ziyun Wang,Brenden M. Lake
3+阅读 · 2019年9月26日
AutoML: A Survey of the State-of-the-Art
Xin He,Kaiyong Zhao,Xiaowen Chu
39+阅读 · 2019年8月14日
AceKG: A Large-scale Knowledge Graph for Academic Data Mining
Ruijie Wang,Yuchen Yan,Jialu Wang,Yuting Jia,Ye Zhang,Weinan Zhang,Xinbing Wang
4+阅读 · 2018年8月7日
Othman Sbai,Mohamed Elhoseiny,Antoine Bordes,Yann LeCun,Camille Couprie
3+阅读 · 2018年4月3日
Lior Friedman,Shaul Markovitch
4+阅读 · 2018年1月31日
Top