怎样用英伟达TensorRT优化TensorFlow Serving的性能?谷歌工程师一文详解

2019 年 3 月 5 日 量子位
文 / Guangda Lai、Gautam Vasudevan、Abhijit Karmarkar、Smit Hinsu
量子位 转载自 TensorFlow公众号

怎样用TensorFlow Serving系统,结合英伟达的Tensor RT,实现高性能深度学习推理?

TensorFlow团队的工程师们最新发布的一篇教程,就是要一步步教会你。

量子位经授权转载,如下~

TensorFlow Serving 是用于机器学习模型的高性能灵活服务系统,而 NVIDIA TensorRT 是实现高性能深度学习推理的平台,通过将二者相结合,用户便可获得更高性能,从而轻松实现 GPU 推理。

TensorFlow 团队与 NVIDIA 合作,在 TensorFlow v1.7 中首次添加了对 TensorRT 的支持。此后,我们一直密切合作,共同改进 TensorFlow-TensorRT 集成(称为 TF-TRT)。TensorFlow Serving 1.13 现已实现这种集成,TensorFlow 2.0 很快也会进行集成。

在 之前的文章 中,我们介绍了如何借助 Docker 使用 TensorFlow Serving。在本文中,我们将展示以同样的方式运行经 TF-TRT 转换的模型有多简单。与之前一样,我们尝试在生产环境中部署 ResNet 模型。下方所有示例均在配备 Titan-V GPU 的工作站上运行。

注:ResNet 链接

https://github.com/tensorflow/models/tree/master/official/resnet

在 GPU 上利用 TensorFlow Serving 部署 ResNet

在这项练习中,我们仅下载 经过预训练的 ResNet SavedModel:

$ mkdir /tmp/resnet

$ curl -s https://storage.googleapis.com/download.tensorflow.org/models/official/20181001_resnet/savedmodels/resnet_v2_fp32_savedmodel_NHWC_jpg.tar.gz | tar --strip-components=2 -C /tmp/resnet -xvz

$ ls /tmp/resnet

1538687457

注:经过预训练的 ResNet 链接

https://github.com/tensorflow/models/tree/master/official/resnet#pre-trained-model

在之前的文章中,我们展示了如何使用 TensorFlow Serving CPU Docker 图像提供模型。在这里,我们运行 GPU Docker 图像(请查看 此处 了解相关说明),以借助 GPU 提供并测试此模型:

$ docker pull tensorflow/serving:latest-gpu

$ docker run --rm --runtime=nvidia -p 8501:8501 --name tfserving_resnet \

   -v /tmp/resnet:/models/resnet -e MODEL_NAME=resnet -t tensorflow/serving:latest-gpu &

… server.cc:286] Running gRPC ModelServer at 0.0.0.0:8500 …

… server.cc:302] Exporting HTTP/REST API at:localhost:8501 …


$ curl -o /tmp/resnet/resnet_client.py https://raw.githubusercontent.com/tensorflow/serving/master/tensorflow_serving/example/resnet_client.py

$ python /tmp/resnet/resnet_client.py

Prediction class:286, avg latency:18.0469 ms

注:此处 链接

https://www.tensorflow.org/serving/docker#serving_with_docker_using_your_gpu

此 docker run 命令会启动 TensorFlow Serving 服务器,以提供 /tmp/resnet 中已下载的 SavedModel,并在主机中开放 REST API 端口 8501。resnet_client.py 会发送一些图像给服务器,并返回服务器所作的预测。现在让我们终止 TensorFlow Serving 容器的运行,以释放所占用的 GPU 资源。

$ docker kill tfserving_resnet

注:REST API 链接

https://www.tensorflow.org/tfx/serving/api_rest

利用 TF-TRT 转换和部署模型

现在,我们有了工作模型。为了享受 TensorRT 带来的好处,我们需要在 TensorFlow Serving Docker 容器内运行转换命令,从而将此模型转换为使用 TensorRT 运行运算的模型:

$ docker pull tensorflow/tensorflow:latest-gpu

$ docker run --rm --runtime=nvidia -it -v /tmp:/tmp tensorflow/tensorflow:latest-gpu /usr/local/bin/saved_model_cli \

 convert --dir /tmp/resnet/1538687457 --output_dir /tmp/resnet_trt/1538687457 --tag_set serve \

 tensorrt --precision_mode FP32 --max_batch_size 1 --is_dynamic_op True


在这里,我们运行了 saved_model_cli 命令行工具,其中内置了对 TF-TRT 转换的支持。—dir 和 —output_dir 参数会指示 SavedModel 的位置以及在何处输出转换后的 SavedModel,而 —tag_set 则指示 SavedModel 中要转换的图表。随后,我们在命令行中传递 tensorrt 并指定配置,明确指示其运行 TF-TRT 转换器:

—precision_mode 指示转换器需使用的精度,目前其仅支持 FP32 和 FP16

—max_batch_size 指示输入的批次大小上限。此转换器要求将由 TensorRT 处理的所有张量将其首个维度作为批次维度,而该参数则指示推理过程中会产生的最大值。若已知推理过程中的实际批次大小上限且该值与之匹配,则转换后的模型即为最优模型。请注意,转换后的模型无法处理批次规模大于此处所指定大小的输入,但可处理批次规模更小的输入

—is_dynamic_op 指示在模型运行时进行实际转换。原因在于,在进行转换时,TensorRT 需要明确所有形状。对于本例中使用的 ResNet 模型,其张量没有固定的形状,因此我们需要此参数

注:saved_model_cli 链接

https://www.tensorflow.org/guide/saved_model#cli_to_inspect_and_execute_savedmodel

现在,我们只需为模型指定正确的目录,便可利用 Docker 提供经 TF-TRT 转换的模型,这与之前一样简单:

$ docker run --rm --runtime=nvidia -p 8501:8501 --name tfserving_resnet \

 -v /tmp/resnet_trt:/models/resnet -e MODEL_NAME=resnet -t tensorflow/serving:latest-gpu &

… server.cc:286] Running gRPC ModelServer at 0.0.0.0:8500 …

… server.cc:302] Exporting HTTP/REST API at:localhost:8501 …


向其发送请求:

$ python /tmp/resnet/resnet_client.py

Prediction class:286, avg latency:15.0287 ms

最后,我们终止容器的运行:

$ docker kill tfserving_resnet

我们可以看到,使用 TensorFlow Serving 和 Docker 生成经 TF-TRT 转换的模型与提供一般模型一样简单。此外,以上为展示内容,其中的性能数字仅适用于我们所使用的模型和运行本示例的设备,但它的确展现出使用 TF-TRT 所带来的性能优势。

TensorFlow 2.0 发布在即,TensorFlow 团队和 NVIDIA 正在共同努力,以确保 TF-TRT 能在 2.0 中流畅运行。

如需了解最新信息,请查看 TF-TRT GitHub 代码库 :https://github.com/tensorflow/tensorrt



加入社群

量子位现开放「AI+行业」社群,面向AI行业相关从业者,技术、产品等人员,根据所在行业可选择相应行业社群,在量子位公众号(QbitAI)对话界面回复关键词“行业群”,获取入群方式。行业群会有审核,敬请谅解。


此外,量子位AI社群正在招募,欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“交流群”,获取入群方式。

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「好看」吧 !

登录查看更多
1

相关内容

高性能TensorFlow模型托管服务器
【Google】利用AUTOML实现加速感知神经网络设计
专知会员服务
28+阅读 · 2020年3月5日
《强化学习—使用 Open AI、TensorFlow和Keras实现》174页pdf
专知会员服务
136+阅读 · 2020年3月1日
TensorFlow Lite指南实战《TensorFlow Lite A primer》,附48页PPT
专知会员服务
67+阅读 · 2020年1月17日
【干货】谷歌Joshua Gordon 《TensorFlow 2.0讲解》,63页PPT
专知会员服务
24+阅读 · 2019年11月2日
免费!Google Colab现已支持英伟达T4 GPU
新智元
5+阅读 · 2019年4月25日
如何用TF Serving部署TensorFlow模型
AI研习社
26+阅读 · 2019年3月27日
DLI 精选课程 | 用TensorRT 优化和部署TensorFlow模型
英伟达NVIDIA中国
5+阅读 · 2019年3月8日
发布TensorFlow 1.4
谷歌开发者
7+阅读 · 2017年11月23日
深度学习入门篇--手把手教你用 TensorFlow 训练模型
全球人工智能
4+阅读 · 2017年10月21日
Real-time Scalable Dense Surfel Mapping
Arxiv
5+阅读 · 2019年9月10日
Arxiv
8+阅读 · 2019年5月20日
Arxiv
6+阅读 · 2018年6月21日
Bidirectional Attention for SQL Generation
Arxiv
4+阅读 · 2018年6月21日
Arxiv
3+阅读 · 2018年3月13日
VIP会员
相关资讯
免费!Google Colab现已支持英伟达T4 GPU
新智元
5+阅读 · 2019年4月25日
如何用TF Serving部署TensorFlow模型
AI研习社
26+阅读 · 2019年3月27日
DLI 精选课程 | 用TensorRT 优化和部署TensorFlow模型
英伟达NVIDIA中国
5+阅读 · 2019年3月8日
发布TensorFlow 1.4
谷歌开发者
7+阅读 · 2017年11月23日
深度学习入门篇--手把手教你用 TensorFlow 训练模型
全球人工智能
4+阅读 · 2017年10月21日
Top
微信扫码咨询专知VIP会员