开源系列讲座 | nn-Meter：可高效、准确地预测模型推理时间的系统
https://www.bilibili.com/video/BV13b4y1879h
随着当前 AI 技术的发展，DNN 模型在移动端应用上被广泛部署使用。在实际部署中，DNN 模型在实际部署中的延迟（推理时间）是决定模型是否可用的一个重要指标。然而，模型设计过程中对数以亿计的设计选项进行实际的部署和延迟评估会造成巨大的开销。因此，如何进行高效、准确的模型运行延迟预测对模型的设计至关重要。但现有技术缺乏对部署平台优化策略的理解以及对灵活多变模型架构的泛化性，所以无法做到准确的模型推理时间预测。
针对上述问题，微软亚洲研究院异构计算组的研究员们提出并开发了 nn-Meter 模型推理时间预测系统。nn-Meter 提出基于内核单元的预测方法，通过自适应数据采集算法，可高效、准确地预测 DNN 模型在不同端侧设备上的推理延迟。
nn-Meter 荣获了MobiSys 2021 大会的最佳论文奖，且是本届大会上唯一一篇获得了Artifact Evaluation全部三个最高级别徽章的论文。
nn-Meter 论文题目截图
在论文发表之后，nn-Meter 获得越来越多学术界和业界的关注。通过研究员和算法工程师的共同努力，面向用户友好的 DNN 推理时间预测工具 nn-Meter 终于开源啦！
目前 nn-Meter 开源了四款常见端侧设备（Mobile CPU, 2 Mobile GPUs, Intel VPU）的预测模型，且支持多种格式的模型输入文件。不仅如此，nn-Meter 还整合了微软 NNI 里的神经网络架构搜索（NAS）， 用户可利用 nn-Meter 实现 hardware-aware NAS。此外，除了目前支持的四款设备，nn-Meter 正在实现开源的 builder 可用来为用户端侧设备创建自己的推理时间预测模型。
“微软亚洲研究院开源项目系列讲座”第一季第七期将简要介绍 nn-Meter 的原理、功能，并详细阐述 nn-Meter 的内核 kernel 自动检测和自适应采样算法的原理。在开源学习讲座上，研究员们还将现场演示如何使用 nn-Meter 开源工具，介绍目前 nn-Meter支持的功能，以及几种应用 nn-Meter 的场景。欢迎大家使用 nn-Meter 并在 GitHub 上同开发团队进行沟通和互动！感兴趣的同学可以加入 nn-Meter 社区, 为其他端侧硬件构建延迟预测器！记得准时来直播间参与分享哦！
直播时间：2021年11月17日 15:00-16:00
直播地址：B 站账号“微软中国视频中心”直播间
扫码直达直播间
扫码加入微信交流群
报告主题：
nn-Meter: 深度模型端侧推理时间预测
nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices
报告内容：
随着深度学习在移动端的兴起，推理延迟（inference latency）已经成为在各种移动和边缘设备上运行深度神经网络（DNN）模型的一个重要指标。为此，预测DNN模型推理的延迟非常必要，尤其是对于无法在真实设备上测试延迟或者代价太高的任务。然而，由于不同边缘设备上运行时（runtime）的不同优化导致了模型推理延迟的巨大差异，准确预测推理延迟仍然非常具有挑战性。目前，现有方法无法实现高精度的预测。 建立在内核检测及自适应采样上的 nn-Meter 可高效、准确地预测 DNN 模型在不同边缘设备上的推理延迟。它的关键思想是将整个模型推理划分为内核（kernel），即设备上的执行单元，然后执行内核级预测。
nn-Meter 具有以下亮点：
-
无需实际模型部署测量，准确预测 DNN 在端侧设备的推理时间； -
通过内核自动检测算法和自适应数据采集算法，可为其他端侧设备创建 DNN 推理时间预测模型； -
提供多种应用场景，包含基于 NNI 的 hardware-aware NAS； -
包含 26000 个常见模型在四款端侧设备上的推理时间数据集。
张丽
微软亚洲研究院
主管研究员
主要研究方向为 DNN 算法和端侧硬件的协同优化和设计，其中包括面向硬件的神经网络自动搜索，面向硬件加速的模型压缩算法，以及 DNN 模型在端侧设备的推理行为研究等。曾在 MobiSys, MLSys, Mobicom, MM, ASE 等顶级会议上发表论文。
杨玉庆
微软亚洲研究院（上海）
高级研发经理
博士，主要研究方向为人工智能系统设计，包括 AI 平台的基础架构与应用，面向硬件加速的深度学习模型构建等。基于亚研院在人工智能和分布式系统的研究，带领团队参与设计开发人工智能基础设施平台，为公司内部及外部用户提供端到端的深度学习优化体验；并致力于智能边缘的研究和应用，为边缘设备提供智能计算支持。
徐佳杭
微软亚洲研究院（上海）
创新工程组研发工程师
就职期间，从事 nn-Meter 深度模型端侧推理时间预测、NNI 自动机器学习等科研项目的代码开源工作。
微软亚洲研究院面向科研人员、开源社区开发者和参与者精心设计推出“微软亚洲研究院开源项目系列讲座”，涉及来自不同科研团队的七个开源项目：和行业密切相关的 Qlib 和 MIND，优秀的科研工具 OpenNetLab、MARO、nn-Meter，以开源方式进行人工智能教育教学的 AI-EDU community，赋能机器学习的 NNI，涵盖机器学习、自然语言、网络与系统等多个人工智能领域。
“微软亚洲研究院开源项目系列讲座”第一季将在下午3点以每月一次的频率在 B 站账号“微软中国视频中心”直播间进行直播。直播报告的邀请讲师均为微软亚洲研究院参与一线研究项目的研究员、工程师、项目经理等，欢迎大家准时进入直播间。
你也许还想看：
相关内容
微信扫码咨询专知VIP会员