Kubeflow实战系列：利用TensorFlow Serving进行模型预测

会员服务 ·

Kubeflow实战系列：利用TensorFlow Serving进行模型预测

2018 年 6 月 24 日 云栖社区

云栖君导读：本系列将介绍如何在阿里云容器服务上运行Kubeflow, 本文介绍如何使用TensorFlow Serving加载训练模型并且进行模型预测。

第一篇：阿里云上使用JupyterHub

http://click.aliyun.com/m/1000003285/

第二篇：阿里云上小试TFJob

http://click.aliyun.com/m/1000003286/

第三篇：利用TFJob运行分布式TensorFlow

http://click.aliyun.com/m/1000003287/

第四篇：利用TFJob导出分布式TensorFlow模型

http://click.aliyun.com/m/1000003288/

第五篇：利用TensorFlow Serving进行模型预测（本文）

TensorFlow Serving简介

TensorFlow Serving是Google开源的一个灵活的、高性能的机器学习模型服务系统，能够简化并加速从模型到生产应用的过程。它除了原生支持TensorFlow模型，还可以扩展支持其他类型的机器学习模型。

在前面的文章中，已经介绍了如何进行单机和分布式的模型训练，并且可以将训练的导出模型放置到分布式存储上。在本文中，会介绍模型如何被发布到TensorFlow Serving系统服务器端。并通过gRPC客户端提交请求，由服务端返回预测结果。

在分布式存储查看训练的模型

在前一篇文章中，我们已经将训练的模型导出到NAS上，可以先查看一下导出的模型。在serving的文件夹指定了模型的，即mnist名称;而mnist的下一层是模型的版本。

在模型导出的章节中，已经在这个NAS存储上创建了对应的pv: tf-serving-pv和pvc： tf-serving-pvc，而TensorFlow Serving将从pvc中加载模型。

利用Kubeflow启动TensorFlow Serving

部署完成后可以通过kubectl get deploy查询到TensorFlow Serving运行状态

查看TensorFlow Serving运行日志,发现模型已经加载

2018-06-19 06:50:19.185785:

I external/org_tensorflow/tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA

2018-06-19 06:50:19.202907:

I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:161] Restoring SavedModel bundle.

2018-06-19 06:50:19.418625: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:196] Running LegacyInitOp on SavedModel bundle.

2018-06-19 06:50:19.425357:

I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:291] SavedModel load for tags { serve }; Status: success. Took 550707 microseconds.

2018-06-19 06:50:19.430435:

I tensorflow_serving/core/loader_harness.cc:86] Successfully loaded servable version {name: mnist version: 1}

以及对外的暴露的服务ip和端口

这里可以看到gRPC对外服务ip为xx.xx.xx.xx,对外服务的端口为9000

使用gRPC客户端访问TensorFlow Serving

通过kubectl run运行gRPC客户端, 并且点击回车，登录到Pod里

kubectl run -i --tty mnist-client --image=registry.cn-hangzhou.aliyuncs.com/tensorflow-samples/tf-mnist-client-demo --restart=Never --command -- /bin/bash
If you don't see a command prompt, try pressing enter.

运行客户端python代码：

# export TF_MNIST_IMAGE_PATH=1.png

# export TF_MODEL_SERVER_HOST=172.19.4.241

# python mnist_client.py

/usr/local/lib/python2.7/dist-packages/h5py/__init__.py:36: FutureWarning: Conversion of the second argument of issubdtype from `float` to `np.floating` is deprecated. In future, it will be treated as `np.float64 == np.dtype(float).type`.

from ._conv import register_converters as _register_converters