在AWS上部署、監控和擴展機器學習模型

做者|Aparna Dhinakaran
編譯|Flin
來源|towardsdatascience

部署健壯的、可擴展的機器學習解決方案仍然是一個很是複雜的過程，須要大量的人力參與，並作出不少努力。所以，新產品和服務須要很長時間才能上市，或者在原型狀態下就被放棄，從而下降了行業內的對它的興趣。那麼，咱們如何才能促進將機器學習模型投入生產的過程呢?

Cortex是一個將機器學習模型部署爲生產網絡服務的開源平臺。它利用強大的AWS生態系統，根據須要部署、監視和擴展與框架無關的模型。其主要特色歸納以下:

• 框架無關:Cortex支持任何python代碼;與其餘python腳本同樣，TensorFlow、PyTorch、scikit-learn、XGBoost都是由該庫支持的。

• 自動縮放:Cortex自動縮放你的api，以處理生產負載。

• CPU / GPU支持:使用AWS IaaS做爲底層基礎架構，Cortex能夠在CPU或GPU環境下運行。

• Spot實例:Cortex支持EC2 Spot實例來下降成本。

• 滾動更新:Cortex對模型應用任何更新，沒有任何停機時間。

• 日誌流:Cortex使用相似docker的語法將部署模型中的日誌保存下來，並將其流式傳輸到CLI。

• 預測監測:Cortex監測網絡指標並跟蹤預測。

• 最小配置:Cortex部署配置被定義爲一個簡單的YAML文件。

在本文中，咱們使用Cortex將一個圖像分類模型做爲web服務部署到AWS上。那麼，言歸正傳，讓咱們來介紹一下Cortex。

將模型部署爲Web服務

在這個例子中，咱們使用fast.ai庫（https://pypi.org/project/fastai/） ，並從相關MOOC的第一個課程中（https://course.fast.ai/） 借用pets分類模型。如下各節介紹了Cortex的安裝和pets分類模型做爲web服務的部署。

安裝

若是尚未安裝，首先應該在AWS上建立一個具備編程訪問權限的新用戶賬戶。爲此，請選擇IAM服務，而後從右側面板中選擇Users，最後按Add User按鈕。爲用戶指定一個名稱並選擇Programmatic access。

接下來，在Permissions 屏幕中，選擇Attach existing policies directly選項卡，而後選擇AdministratorAccess。

你能夠將標記頁留空，查看並建立用戶。最後，注意訪問密鑰ID和密鑰訪問密鑰。

在AWS控制檯上，你還能夠建立一個S3 bucket來存儲通過訓練的模型和代碼可能生成的任何其餘人工製品。你能夠隨意命名這個bucket，只要它是一個惟一的名字。在這裏，咱們建立了一個名爲cortex-pets-model的bucket。

下一步，咱們必須在系統上安裝Cortex CLI並啓動Kubernetes集羣。要安裝Cortex CLI，請運行如下命令：

bash -c 「$(curl -sS https://raw.githubusercontent.com/cortexlabs/cortex/0.14/get-cli.sh)"

經過訪問相應的文檔部分(https://www.cortex.dev/) ，檢查你是否正在安裝最新版本的Cortex CLI。

咱們如今準備創建集羣。使用Cortex建立Kubernetes集羣是很簡單的。只需執行如下命令：

cortex cluster up

Cortex會要求你提供一些信息，好比你的AWS密鑰、你想使用的區域、你想啓動的計算實例以及它們的數量。Cortex也會讓你知道你會花多少錢來使用你選擇的服務。整個過程可能須要20分鐘。

訓練你的模型

Cortex並不關心你如何建立或訓練你的模型。在本例中，咱們使用fast.ai庫和Oxford IIIT Pet數據集。這個數據集包含37種不一樣的狗和貓。所以，咱們的模型應該將每一個圖像分爲這37類。

建立一個相似下面的trainer.py文件

import boto3
import pickle

from fastai.vision import *


# initialize boto session
session = boto3.Session(
    aws_access_key_id=<your_accress_key_id>,
    aws_secret_access_key='<your_secret_access_key>',
)

# get the data
path = untar_data(URLs.PETS, dest='sample_data')
path_img = path/'images'
fnames = get_image_files(path_img)

# process the data
bs = 64
pat = r'/([^/]+)_\d+.jpg$'
data = ImageDataBunch.from_name_re(path_img, fnames, pat, 
                                   ds_tfms=get_transforms(), size=224, bs=bs) \
                     .normalize(imagenet_stats)

# create, fit and save the model
learn = cnn_learner(data, models.resnet18, metrics=accuracy)
learn.fit_one_cycle(4)

with open('model.pkl', 'wb') as handle:
    pickle.dump(learn.model, handle)

# upload the model to s3
s3 = session.client('s3')
s3.upload_file('model.pkl', 'cortex-pets-model', 'model.pkl')

與其餘python腳本同樣，在本地運行該腳本:python trainer.py

可是，請確保提供你的AWS憑據和S3 bucket名稱。這個腳本獲取數據，處理它們，適合一個預先訓練好的ResNet模型並將其上傳到S3。固然，你可使用幾種技術(更復雜的體系結構、有區別的學習率、面向更多時代的訓練)來擴展此腳本以使模型更精確，可是這與咱們的目標無關。若是你想進一步瞭解ResNet體系結構，請參閱下面的文章。

https://towardsdatascience.com/xresnet-from-scratch-in-pytorch-e64e309af722

部署模型

如今咱們已經訓練了模型並將其存儲在S3中，下一步是將其做爲web服務部署到生產環境中。爲此，咱們建立了一個名爲predictor.py的python腳本,像下圖:

import torch
import boto3
import pickle
import requests

from PIL import Image
from io import BytesIO
from torchvision import transforms


# initialize boto session
session = boto3.Session(
    aws_access_key_id='<your_access_key_id>',
    aws_secret_access_key='<your_secret_access_key>',
)


# define the predictor
class PythonPredictor:
    def __init__(self, config):
        s3 = session.client('s3')
        s3.download_file(config['bucket'], config['key'], 'model.pkl')
        self.model = pickle.load(open('model.pkl', 'rb'))
        self.model.eval()

        normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])
        self.preprocess = transforms.Compose(
            [transforms.Resize(224), transforms.ToTensor(), normalize]
        )

        self.labels = ['Abyssinian', 'Bengal', 'Birman', 'Bombay', 'British_Shorthair',
                       'Egyptian_Mau', 'Maine_Coon', 'Persian', 'Ragdoll', 'Russian_Blue',
                       'Siamese', 'Sphynx', 'american_bulldog', 'american_pit_bull_terrier',
                       'basset_hound', 'beagle', 'boxer', 'chihuahua', 'english_cocker_spaniel',
                       'english_setter', 'german_shorthaired', 'great_pyrenees', 'havanese',
                       'japanese_chin', 'keeshond', 'leonberger', 'miniature_pinscher', 'newfoundland',
                       'pomeranian', 'pug', 'saint_bernard', 'samoyed', 'scottish_terrier', 'shiba_inu',
                       'staffordshire_bull_terrier', 'wheaten_terrier',  'yorkshire_terrier']

        self.device = config['device']

    def predict(self, payload):
        image = requests.get(payload["url"]).content
        img_pil = Image.open(BytesIO(image))
        img_tensor = self.preprocess(img_pil)
        img_tensor.unsqueeze_(0)
        img_tensor = img_tensor.to(self.device)
        with torch.no_grad():
            prediction = self.model(img_tensor)
        _, index = prediction[0].max(0)
        return self.labels[index]

這個文件定義了一個預測器類。在實例化它時，它從S3中檢索模型，將其加載到內存中，並定義一些必要的轉換和參數。在推理期間，它從給定的URL中讀取圖像並返回預測的類的名稱。一個用於初始化的方法__init__和一個用於接收有效負載並返回結果的預測方法predict。

預測器腳本有兩個附帶的文件。一個記錄庫依賴項的requirements.txt文件(如pytorch、fastai、boto3等)和一個YAML配置文件。最小配置以下:

- name: pets-classifier
  predictor:
    type: python
    path: predictor.py
    config:
      bucket: cortex-pets-model
      key: model.pkl
      device: cpu

在這個YAML文件中，咱們定義了運行哪一個腳本進行推理，在哪一個設備(例如CPU)上運行，以及在哪裏找到訓練好的模型。文檔中提供了更多的選項。

最後，項目的結構應該遵循下面的層次結構。請注意，這是最低限度的要求，可是若是你有一個能夠部署的模型，那麼你能夠提交train .py。

- Project name
    |----trainer.py
    |----predictor.py
    |----requirements.txt
    |----cortex.yaml

有了全部這些，你只需運行cortex deploy，幾秒鐘以內，你的新端點就能夠接受請求了。執行corted get pets-classifier來監視端點並查看其餘詳細信息。

status   up-to-date   requested   last update   avg request   2XX   
live     1            1           13m           -             -
endpoint: http://a984d095c6d3a11ea83cc0acfc96419b-1937254434.us-west-2.elb.amazonaws.com/pets-classifier
curl: curl http://a984d095c6d3a11ea83cc0acfc96419b-1937254434.us-west-2.elb.amazonaws.com/pets-classifier?debug=true -X POST -H "Content-Type: application/json" -d @sample.json
configuration
name: pets-classifier
endpoint: /pets-classifier
predictor:
  type: python
  path: predictor.py
  config:
    bucket: cortex-pets-model
    device: cpu
    key: model.pkl
compute:
  cpu: 200m
autoscaling:
  min_replicas: 1
  max_replicas: 100
  init_replicas: 1
  workers_per_replica: 1
  threads_per_worker: 1
  target_replica_concurrency: 1.0
  max_replica_concurrency: 1024
  window: 1m0s
  downscale_stabilization_period: 5m0s
  upscale_stabilization_period: 0s
  max_downscale_factor: 0.5
  max_upscale_factor: 10.0
  downscale_tolerance: 0.1
  upscale_tolerance: 0.1
update_strategy:
  max_surge: 25%
  max_unavailable: 25%

剩下的就是用curl和pomeranian的圖像來測試它:

curl http://a984d095c6d3a11ea83cc0acfc96419b-1937254434.us-west-2.elb.amazonaws.com/pets-classifier -X POST -H "Content-Type: application/json" -d '{"url": "https://i.imgur.com/HPRQ28l.jpeg"}'

釋放資源

當咱們完成服務和集羣時，咱們應該釋放資源以免額外的成本。Cortex很容易作到：

cortex delete pets-classifier
cortex cluster down

結論

在這篇文章中，咱們看到了如何使用Cortex，一個開源平臺，來將機器學習模型部署爲生產web服務。咱們訓練了一個圖像分類器，將其部署到AWS上，監控其性能並進行測試。

有關更高級的概念，如預測監視、滾動更新、集羣配置、自動縮放等，請訪問官方文檔站點(https://www.cortex.dev/) 和項目的GitHub頁面(https://github.com/cortexlabs/cortex)。

原文連接：https://towardsdatascience.com/deploy-monitor-and-scale-machine-learning-models-on-aws-408dfd397422

歡迎關注磐創AI博客站：
http://panchuang.net/

sklearn機器學習中文官方文檔：
http://sklearn123.com/

歡迎關注磐創博客資源彙總站：
http://docs.panchuang.net/