微软发布深度学习平台Brainwave，基于FPGA且速度超快

安妮 编译整理
量子位 出品 | 公众号 QbitAI

在昨天Hot Chips 2017大会上，微软发布了基于FPGA的低延迟深度学习加速平台。据微软官方博客显示，当使用英特尔Stratix 10 FPGA时，Brainwave可在无批处理的情况下支持每秒39.5万亿次浮点运算。

产品概念

这已经不是微软第一次提出Brainwave的概念，过去几年中微软一直尝试用FPGA提升必应（Bing）与Azure的性能与效率。微软希望赋予开发人员FPGA处理能力，帮助他们运行复杂的任务。因此，这套深度学习加速平台应运而生。

微软在官方博客上公布了Brainwave的三个层面：

1. 高性能分布式系统架构

2. 集成至FPGA上的深度神经网络(DNN)引擎

3. 可低摩擦部署训练模型的编译器和runtime

△ Brainwave用英特尔FPGA进行演示

性能详解

第一层面

Brainwave利用了大量微软在过去几年里部署的FPGA架构。通过将高性能FPGA链接到数据中心网络，微软让DNN支持硬件微服务。其中DNN可被映射到一个远程的FPGA池，由一个loop中没有软件的服务器调用。

这种系统架构既降低了延迟，并且CPU无需处理传入的请求，允许非常高的吞吐量，所以FPGA处理请求的速度和网络传输速度一样快。

第二层面

Brainwave使用了集成至商用FPGA上的强大的“软”DNN处理单元（DPU）。

不论科技巨头还是初创公司，很多公司正在构建“硬化”的DPU。尽管其中有些芯片峰值性能很强，但必须在设计时就选好操作符和数据类型，这限制了它们的灵活性。

微软的解决办法不同，它提供了跨系列的数据类型，可在合成时间内决策。该设计将ASIC数字信号处理模块、FPGA和合成逻辑三者结合，提供了更庞大、数量上更优化的功能单元。

第三层面

此外，Brainwave内置一个支持各种流行的深度学习框架的软件栈，目前Microsoft Cognitive Toolkit（CNTK）、Tensorflow均已兼容，微软计划支持更多框架。

在这里，微软定义了一种基于图的中间表示，先将模型转换为受欢迎的框架，然后再编译到高性能的基础架构中。

后续发展

微软在官方博客中表示，他们将尽快通过Azure向外部开发者提供FPGA，让用户通过微软的服务间接访问。

据外媒ZDNet报道，微软并不是唯一一家在云数据中心朝FPGA发展的公司，亚马逊和谷歌都在使用定制芯片处理AI任务。

最后，量子位还有一份Brainwave官方版52页PPT及介绍文档，可在量子位微信公众号会话界面回复“170823”领取。

— 完 —

加入社群

量子位AI社群7群开始招募啦，欢迎对AI感兴趣的同学，加小助手微信qbitbot2入群；

此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。

进群请加小助手微信号qbitbot2，并务必备注相应群的关键词~通过审核后我们将邀请进群。（专业群审核较严，敬请谅解）

诚挚招聘

量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态