TensorFlow Serving入門

你們習慣使用TensorFlow進行模型的訓練、驗證和預測，但模型完善以後的生產上線流程，就變得五花八門了。針對這種狀況Google提供了TensorFlow Servering，能夠將訓練好的模型直接上線並提供服務。在2017年的TensorFlow開發者Summit上便提出了TensorFlow Serving。
傳送門：https://www.youtube.com/watch?v=q_IkJcPyNl0&list=PLOU2XLYxmsIKGc_NBoIhTn2Qhraji53cv&index=13
但那時候客戶端和服務端的通訊只支持gRPC。在實際的生產環境中比較普遍使用的C/S通訊手段是基於RESTfull API的，幸運的是從TF1.8之後，TF Serving也正式支持RESTfull API通訊方式了。

服務框架

 

TF Serving服務框架

基於TF Serving的持續集成框架仍是挺簡明的，基本分三個步驟：

• 模型訓練
  這是你們最熟悉的部分，主要包括數據的收集和清洗、模型的訓練、評測和優化；
• 模型上線
  前一個步驟訓練好的模型在TF Server中上線；
• 服務使用
  客戶端經過gRPC和RESTfull API兩種方式同TF Servering端進行通訊，並獲取服務；

TF Serving工做流程

 

TF Serving工做流程

TF Serving的工做流程主要分爲如下幾個步驟：

• Source會針對須要進行加載的模型建立一個Loader，Loader中會包含要加載模型的所有信息；
• Source通知Manager有新的模型須要進行加載；
• Manager經過版本管理策略（Version Policy）來肯定哪些模型須要被下架，哪些模型須要被加載；
• Manger在確認須要加載的模型符合加載策略，便通知Loader來加載最新的模型；
• 客戶端像服務端請求模型結果時，能夠指定模型的版本，也可使用最新模型的結果；

簡單示例

TF Serving客戶端和服務端的通訊方式有兩種（gRPC和RESTfull API）

示例（一）：RESTfull API形式

1. 準備TF Serving的Docker環境

目前TF Serving有Docker、APT（二級制安裝）和源碼編譯三種方式，但考慮實際的生產環境項目部署和簡單性，推薦使用Docker方式。

#  docker pull tensorflow/serving

2. 下載官方示例代碼

示例代碼中包含已訓練好的模型和與服務端進行通訊的客戶端（RESTfull API形式不須要專門的客戶端）

# mkdir -p /tmp/tfserving
# cd /tmp/tfserving
# git clone https://github.com/tensorflow/serving

3. 運行TF Serving

# docker run -p 8501:8501 \
  --mount type=bind,\
   source=/tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_two_cpu,\
target=/models/half_plus_two \
-e MODEL_NAME=half_plus_two -t tensorflow/serving &

這裏須要注意的是，較早的docker版本沒有「--mount」選項，好比Ubuntu16.04默認安裝的docker就沒有（個人環境是Ubuntu 18.04）。

4.客戶端驗證

# curl -d '{"instances": [1.0, 2.0, 5.0]}' \
  -X POST http://localhost:8501/v1/models/half_plus_two:predict

返回結果，

# { "predictions": [2.5, 3.0, 4.5] }

示例（二）：gRPC形式

1. 準備TF Serving的Docker環境

目前TF Serving有Docker、APT（二級制安裝）和源碼編譯三種方式，但考慮實際的生產環境項目部署和簡單性，推薦使用Docker方式。

#  docker pull tensorflow/serving

2. 下載官方示例代碼

# mkdir -p /tmp/tfserving
# cd /tmp/tfserving
# git clone https://github.com/tensorflow/serving

3. 模型編譯

# python tensorflow_serving/example/mnist_saved_model.py models/mnist

4. 運行TF Serving

# docker run -p 8500:8500 \
--mount type=bind,source=$(pwd)/models/mnist,target=/models/mnist \
-e MODEL_NAME=mnist -t tensorflow/serving

這裏須要注意的是，較早的docker版本沒有「--mount」選項，好比Ubuntu16.04默認安裝的docker就沒有（個人環境是Ubuntu 18.04）。

4.客戶端驗證

# python tensorflow_serving/example/mnist_client.py --num_tests=1000 --server=127.0.0.1:8500

返回結果，

#  Inference error rate: 11.13%

這裏須要注意的是，直接運行mnist_client.py會出現找不到「tensorflow_serving」的問題，須要手動安裝，

# pip install tensorflow-serving-api

資料參考

TF Serving官方文檔：https://www.tensorflow.org/serving/

做者：EddyLiu2017 連接：https://www.jianshu.com/p/afe80b2ed7f0 來源：簡書 簡書著做權歸做者全部，任何形式的轉載都請聯繫做者得到受權並註明出處。