PyTorch 1.5 發佈，與 AWS 合做 TorchServe

近日 PyTorch 發佈了 1.5 版本的更新，做爲愈來愈受歡迎的機器學習框架，PyTorch 本次也帶來了大的功能升級。此外， Facebook 和 AWS 還合做推出了兩個重要的 PyTorch 庫。

關鍵詞：PyTorch  AWS  TorchServe  

隨着 PyTorch 在生產環境中的應用愈來愈多，爲社區提供更好的工具和平臺，以便高效地擴展訓練和部署模型，也成了 PyTorch 的當務之急。

近日 PyTorch 1.5 發佈，升級了主要的 torchvision，torchtext 和 torchaudio 庫，並推出將模型從 Python API 轉換爲 C ++ API 等功能。

除此以外，Facebook 還和 Amazon 合做，推出了兩個重磅的工具：TorchServe 模型服務框架和 TorchElastic Kubernetes 控制器。

TorchServe 旨在爲大規模部署 PyTorch 模型推理，提供一個乾淨、兼容性好的工業級路徑。

而 TorchElastic Kubernetes 控制器，可以讓開發人員快速使用 Kubernetes 集羣，在 PyTorch 中建立容錯分佈式訓練做業。

這彷佛是 Facebook 聯手亞馬遜，在針對大型性能 AI 模型框架上，宣戰 TensorFlow 的一個舉措。

TorchServe：用於推理任務

部署機器學習模型進行規模化推理並不是易事。開發人員必須收集和打包模型工件，建立安全的服務棧，安裝和配置預測用的軟件庫，建立和使用 API 和端點，生成監控用的日誌和指標，並在可能的多個服務器上管理多個模型版本。

上述每一項任務都須要大量的時間，並可能會使模型部署速度減慢數週甚至數月。此外，爲低延遲在線應用優化服務是一件必需要作的事情。

此前使用 PyTorch 的開發人員，均缺少官方支持的部署 PyTorch 模型的方法。而生產模型服務框架 TorchServe 的發佈，將改變這一現狀，它可以更容易地將模型投入到生產中。

在下面的例子中，將說明如何從 Torchvision 中提取訓練過的模型，並使用 TorchServe 進行部署。

TorchServe 的測試版本現已可用，其特色包括:

• 原生態 API：支持用於預測的推理 API，和用於管理模型服務器的管理 API。

• 安所有署：包括對安所有署的  HTTPS 支持。

• 強大的模型管理功能：容許經過命令行接口、配置文件或運行時 API 對模型、版本和單個工做線程進行完整配置。

• 模型歸檔：提供執行「模型歸檔」的工具，這是一個將模型、參數和支持文件打包到單個持久工件的過程。使用一個簡單的命令行界面，能夠打包和導出爲單個「 .mar」文件，其中包含提供 PyTorch 模型所需的一切。該 .mar 文件能夠共享和重用。

• 內置的模型處理程序：支持涵蓋最多見用例，如圖像分類、對象檢測、文本分類、圖像分割的模型處理程序。TorchServe 還支持自定義處理程序。

• 日誌記錄和指標：支持可靠的日誌記錄和實時指標，以監視推理服務和端點、性能、資源利用率和錯誤。還能夠生成自定義日誌並定義自定義指標。

• 模型管理：支持同時管理多個模型或同一模型的多個版本。你可使用模型版本回到早期版本，或者將流量路由到不一樣的版本進行 A/B 測試。

• 預構建的圖像：準備就緒後，能夠在基於 CPU 和 NVIDIA GPU 的環境中，部署T orchServe 的 Dockerfile 和 Docker 鏡像。最新的 Dockerfiles 和圖像能夠在這裏找到。

用戶也能夠從 pytorch.org/serve 得到安裝說明、教程和文檔。

TorchElastic ：集成的 K8S 控制器

當前機器學習的訓練模型愈來愈大，如 RoBERTa 和 TuringNLG，它們向外擴展到分佈式集羣的需求也變得愈來愈重要。爲了知足這一需求，一般會使用搶佔式實例（例如 Amazon EC2 Spot  實例）。

但這些可搶佔實例自己是不可預測的，爲此，第二個工具 TorchElastic 出現了。

Kubernetes 和 TorchElastic 的集成，容許 PyTorch 開發人員在一組計算節點上訓練機器學習模型，這些節點能夠動態地變化，而不會破壞模型訓練過程。

即便節點發生故障，TorchElastic 的內置容錯功能也能夠暫停節點級別的訓練，並在該節點再次恢復正常後恢復訓練。

• TorchElastic 的內置容錯能力支持斷點續傳

此外，使用帶有 TorchElastic 的 Kubernetes 控制器，能夠在硬件或節點回收時問題上，在被替換了節點的集羣上，運行分佈式訓練的關鍵任務。

訓練任務可使用部分被請求的資源啓動，而且能夠隨着資源可用而動態擴展，無需中止或從新啓動。

要利用這些功能，用戶只需在簡單的做業定義中指定訓練參數，Kubernetes-TorchElastic 軟件包即可以管理做業的生命週期。

如下是用於 Imagenet 訓練做業的 TorchElastic 配置的簡單示例：

微軟、谷歌，就問大家慌不慌？

此次兩家合做推出全新 PyTorch 庫的操做，其背後也許有着更深層的意義，由於「不帶你玩」這個套路，在框架模型發展的歷史上，已不是第一次出現。

2017 年 12 月，AWS、Facebook 和微軟宣佈，他們將共同開發可用於生產環境的 ONNX ，以此來對抗谷歌 TensorFlow 對工業界使用的壟斷。

隨後 Apache MXNet 、Caffe二、PyTorch 等主流深度學習框架，都對 ONNX 實現了不一樣程度的支持，這方便了算法及模型在不一樣的框架之間的遷移。

• AWS、Facebook 和微軟當初欲用 ONNX 一統框架江湖

而 ONNX 想打通學術界和產業界的願景，實際上並無達到當初的預期，各家框架依然用各自的服務體系，基本上只有 MXNet 和 PyTorch 深刻到了 ONNX。

而現在，PyTorch 推出了本身的服務體系，ONNX 則近乎失去了存在的意義（MXNet 表示不知所措）。

另外一方面，PyTorch 在不斷的升級更新之下，框架的兼容性和易用性，正在逼近甚至趕超最強勁的對手 TensorFlow。

雖然谷歌有本身的雲服務和框架，但 AWS 的雲資源和 Facebook 的框架體系聯合，強強聯手之下，恐怕谷歌也將難以招架。

而微軟已經被曾經 ONNX 三人組的兩個小夥伴踢出羣聊，下一步不知作何打算？