10分鐘能讓小白訓練出ML模型的 Amazon SageMaker 已在中國區上線

隨着技術和生態的不斷演進
應用場景的不斷探索
人工智能已然再也不是空中樓閣
不管是突飛猛進的互聯網應用
仍是求新求變的企業轉型
機器學習都獲得了普遍的應用
逐步成爲驅動業務的關鍵技術

做爲 Amazon Web Services 家族裏的王牌成員
Amazon SageMaker 一出道便飽受關注
因此今天話很少說
小編趕忙來好好給你們介紹一下
這位機器學習重磅能手

Ⅰ、Amazon SageMaker 前世此生

機器學習自己是一個高度協做的過程，將領域經驗與技術技能相結合是成功的基石，並一般須要屢次迭代和實驗。相比預研項目或原型驗證，一個真正能夠應用到生產環境的機器學習項目須要全面考慮工做流程的方方面面，包括數據預處理、框架部署與配置、算法選擇和優化、模型訓練和超參數優化、數據和模型安全、模型對於業務的可解釋性、模型 A/B 對比測試、模型部署後的持續監控和優化、不一樣硬件環境對模型編譯的要求、基礎資源的管理運維、總擁有成本優化等等。

爲了解決這些問題，讓數據科學家、算法工程師、業務開發者都能輕鬆駕馭機器學習，AWS 於 2017 年 11 月推出了 Amazon SageMaker 機器學習平臺服務，而且在過去的兩年多裏不斷豐富功能組件。在 Gartner 發佈的 2020 年雲上 AI 開發者服務魔力象限中，AWS 被評爲領導者， Amazon SageMaker 是其中不可或缺的一部分。

2020 年 4 月30日，Amazon SageMaker 在由光環新網運營的 AWS 中國（北京）區域和由西雲數據運營的 AWS 中國（寧夏）區域正式開放。

Ⅱ、Amazon SageMaker 功能簡介

Amazon SageMaker 是一項徹底託管的服務，能夠幫助機器學習開發者和數據科學家快速構建、訓練和部署模型。Amazon SageMaker 徹底消除了機器學習過程當中各個步驟的繁重工做，讓開發高質量模型變得更加輕鬆。

**構建機器學習模型**

Amazon SageMaker Studio ——首個適用於機器學習的集成開發環境（IDE）

Amazon SageMaker Studio 是一個功能豐富的機器學習集成開發環境 (IDE) ，您能夠在統一的可視化界面中操做 Notebook 、建立模型、管理模型試驗、調試，以及檢測模型誤差。

 Amazon SageMaker Notebooks 加快構建與協做

不少用戶使用單臺服務器運行 Jupyter Notebook ，不只須要管理底層資源，並且在共享給其餘用戶時，須要修改一系列系統配置以及網絡權限。Amazon SageMaker Notebook 可一鍵啓動 Jupyter Notebook ，AWS 負責底層計算資源的託管；同時還支持一鍵共享 Notebook，讓機器學習團隊輕鬆協做。

Amazon SageMaker Autopilot 實現模型自動構建與優化

在設計機器學習模型時，咱們須要考慮能夠用來解決機器學習問題的各類算法，找到有效的算法每每須要幾個小時的訓練和測試，甚至更長時間。

Amazon SageMaker Autopilot 能夠自動檢查原始數據、選擇最佳算法參數集合、訓練和調優多個模型、跟蹤模型性能，以及根據性能對模型進行排名。如此一來，您能夠大大縮短尋找最佳模型所需的時間。

Amazon SageMaker支持多種深度學習框架

支持的框架包括：TensorFlow、PyTorch、Apache MXNet、Chainer、Keras、Gluon、Horovod、Scikit-learn 和 Deep Graph Library。

除了默認支持的框架，其餘任何框架能夠經過自帶容器（BYOC,Bring Your Own Container）的方式在Amazon SageMaker中運行，包括模型訓練和部署。

**訓練機器學習模型**

Amazon SageMaker Experiments 組織、跟蹤和評估訓練運行狀況

模型訓練須要屢次迭代和不斷調優，包括嘗試不一樣算法、超參數、調整選取的特徵等。Amazon SageMaker Experiments 經過自動捕獲輸入參數、配置和結果將其存儲爲「實驗」來幫助您管理迭代。您還可使用 Amazon SageMaker Studio 的可視化界面來瀏覽進行中的實驗，與先前的實驗及結果進行直觀的比較與評估。

Amazon SageMaker Debugger 分析、檢測和提醒與機器學習相關的問題

目前大多數機器學習流程是不透明的，並且訓練模型所花費的時間較長，這些都是優化過程裏的障礙。Amazon SageMaker Debbuger 能在訓練期間自動捕獲實時指標（如混淆矩陣和學習梯度等），讓訓練流程更加透明，最終提升模型精度。Amazon SageMaker Debugger 還會對常見問題發出告警並提供修復建議。藉助 Amazon SageMaker Debbuger ，您能夠更好地理解和解釋模型工做原理。

AWS 是運行 TensorFlow 的最佳平臺

AWS 提供了針對 TensorFlow 的優化。在 256 個 GPU 的集羣擴展效率測試中，AWS 優化的 Tensorflow 的擴展效率高達 90 %，而默認的開源版本只有 65 %，您能夠經過 Amazon SageMaker 輕鬆開啓高效的分佈式訓練，大大縮短訓練時間。

下降訓練成本

Amazon SageMaker 支持基於託管的 Spot 競價實例進行訓練，訓練成本下降最多可達 90 %，而且，Amazon SageMaker 支持週期性自動保存 checkpoint 以免 Spot 實例中斷引發的重複訓練。

**部署機器學習模型**

一鍵式部署

Amazon SageMaker 支持一鍵部署模型，針對實時或批量數據生成預測。您能夠跨多個可用區在自動擴展的實例上一鍵部署模型，在實現高冗餘的同時無需作任何基礎設施運維操做。Amazon SageMaker 自動管理計算實例和模型部署，併爲 API 訪問提供安全的 https 終端節點。您的應用程序只須要調用這個 API 接口就能夠實現低延遲、高吞吐量的推理。

Amazon SageMaker Model Monitor 讓模型保持精確

因爲訓練數據的限制，模型部署以後的一個常見問題是，當目標變量隨着時間推移發生改變，模型會再也不適用。這個問題稱爲概念漂移（concept drift）。例如，經濟環境變化可能會推進新利率出臺，從而影響一個購房模型的預測結果。Amazon SageMaker Model Monitor 可以檢測已部署模型的概念漂移（concept drift），並提供詳細的警報，幫助肯定問題根源。同時，經過 Amazon SageMaker 訓練的模型會自動發送關鍵指標，您能夠在 Amazon SageMaker Studio 中收集和查看這些指標。這個功能也爲一些訓練數據有限的場景提供了一個自動化機制，方便經過線上數據不斷調優模型，而沒必要由於沒有收集到足夠數據或缺乏自動化流程而推遲模型部署。

與 Kubernetes 集成以進行編排和管理

許多機器學習團隊的現有工做平臺是基於運維團隊搭建的 Kubernetes 平臺的，並且有一些現有工做流編排和應用不易遷移。Amazon SageMaker 充分考慮到了這一點，並提供了 Kubernetes Operator 來與基於 Kubernetes 的工做流集成。也就是說， Amazon SageMaker 不只是一個全面的機器學習平臺，並且能夠經過 Kubernetes Operator 與您現有的平臺集成。

Amazon SageMaker Neo 一次訓練，多處運行

Amazon SageMaker Neo  讓機器學習模型訓練一次便可在雲上或者邊緣計算節點中的不一樣硬件和系統環境中運行。Amazon SageMaker Neo 優化的模型運行速度最多可提升兩倍，而且所消耗的資源不到典型機器學習模型的十分之一。Neo 使用了包括 Apache TVM 在內的兩種編譯器，而且已經開源（https://github.com/neo-ai/），讓您能夠更加靈活地針對不一樣設備和應用定製軟件。

Ⅲ.Amazon SageMaker 客戶案例

NFL（美國國家職業橄欖球大聯盟）

經過利用 AWS 普遍的機器學習服務，NFL 將其比賽日的數據分析提升到了一個新水平，球迷、廣播員、教練和球隊能夠受益於更深刻的數據分析。

NFL（美國國家職業橄欖球大聯盟）是美國最大的體育運動聯盟，在全球擁有超過 1.88 億的球迷。每場精彩比賽的背後都有成千上萬個您可能會錯過的數據點，例如運動員的速度，在場地的位置和移動方式。NFL 開發了一個名爲下一代統計數據（Next Gen Stats）的系統，藉助 AWS 機器學習和人工智能技術，NFL 提供了現場比賽數據的可視化，並挖掘更深入的看法。

 「藉助 AWS 上的機器學習能力，咱們能夠更好地瞭解球迷的參與度、比賽的呈現方式、調整比賽規則的潛在影響、比賽的方式以及球員的表現和安全。Next Gen Stats 使咱們可以利用這些實時數據，以全新、獨特方式來吸引球迷，向球迷傳遞信息。」 NFL 高級副總裁兼首席信息官 Michelle McKenna 經過與  AWS  的專業服務團隊合做，Next Gen Stats  團隊使用 Amazon SageMaker 建立和部署了機器學習模型。這些模型使用傳通通計數據、球員跟蹤數據和球員資料的做爲輸入，Next Gen Stats 改變了橄欖球的分析、比賽、執教和體驗方式。

爲了得到實時看法，來自體育場的數據將流式傳輸到 AWS。一旦進入 AWS，數據將在一秒鐘以內經歷 100 多個流程，最終爲體育播音員提供更多可談論的獨特數據點。Next Gen Stats 的最大收益之一就是改善了球迷體驗。除了傳球成功機率以外，NFL 還創建了一些新的統計模型，例如接球后預期碼數、QB 風險指數和衝陣效率等。

大宇無限

藉助 Amazon SageMaker、Amazon Rekognition 等 AWS 機器學習服務，大宇無限實現了視頻審覈和推薦的自動化，能夠給用戶提供穩定、可靠且高質量的視頻服務。

深圳大宇無限科技有限公司（如下簡稱「大宇無限」）是一家專一於移動互聯網應用的創業公司， 2016 年初成立，團隊主要成員來自北京大學、香港科技大學、UCLA、Emory 等國內外知名高校，具備一流互聯網公司從業背景。大宇無限每個月爲全球超過 1 億的用戶提供服務。

移動短視頻服務是大宇無限的主要業務方向之一，移動短視頻服務包含在線視頻推薦服務，須要構建機器學習系統，從設計架構、創建訓練模型、選擇算法和框架到最終部署到生產系統中，整個流程極爲複雜，須要大量的開發人員耗費很長的時間纔有可能完成。藉助 AWS 在機器學習領域的一系列雲服務，大宇無限快速完成了整個系統的開發和部署，實現了快速起步、爲用戶提供高質量短視頻服務的目標。

「在大宇無限的產品中實現視頻內容的在線推薦對咱們的開發團隊來講是一個巨大的挑戰，Amazon SageMaker 極大地簡化了機器學習系統的構建、訓練和部署流程，使咱們僅用了 3 個月就完成了整個系統的建設並承受了實際用戶訪問的壓力，實現了從 0 到 1 的突破。」大宇無限技術副總裁劉克東。

華來科技 

藉助 Amazon ECS、AWS Lambda、AWS IoT Core、Amazon SageMaker等在內的雲服務，爲自身產品與解決方案的研發提供了安全可靠、覆蓋全球的技術支撐，也爲企業帶來了一系列顯著收益。

天津華來科技有限公司（如下簡稱「華來科技」）是一家集智能家居、智慧安防電子產品的研發、生產和銷售爲一體的高新技術公司。自 2015 年成立以來，始終秉持「作價格厚道、感動人心的產品」的價值觀，一直致力於爲用戶提供「簡單、易用」的智能家居和智能安防產品及解決方案。

隨着海外市場的快速擴張，用戶數量持續增加、設備訪問量劇增，華來科技急需在傳統硬件設計和生產以外創造更多的業務增加點。在這樣的需求下，華來科技但願構建起一個由「硬件」+ 「APP」+「後端服務」所組成的智能安防與智能家居服務平臺。該平臺須要具有良好的擴展性，並經過智能服務，更好地知足各地域用戶的不一樣需求。要實現這樣的願景，華來科技須要快速搭建大數據處理平臺，藉助大數據處理技術精準地瞭解用戶需求，優化建設成本，並縮短產品上市時間，以應對市場的激烈競爭。

「藉助 AWS IoT Core 服務平臺，咱們完成了從邊緣到雲端物聯網設備管理的轉變；研發人員經過 Amazon SageMaker 進行機器學習模型搭建及算法訓練，在傳統安防攝像監控的基礎上成功實現AI的視頻場景與人物分析；Amazon ECS 的應用也改變了傳統的部署方式，在提高業務平臺穩定性和彈性的同時爲咱們節約了近 30 %的運營成本。」天津華來科技有限公司 Cloud 業務部總監季寶平。

採用 Amazon SageMaker 的部分客戶

Ⅳ.動手實踐 Amazon SageMaker

Amazon SageMaker 服務目前已在由光環新網運營的 AWS 中國（北京）區域和由西雲數據運營的 AWS 中國（寧夏）區域上線，如下連接中的教程將指導您學習 Amazon SageMaker 的模型構建、訓練和部署，利用這些資源幫助您快速地從概念轉向生產。
https://amazonaws-china.com/c...

驚喜預告：AWS 機器學習解決方案架構師 — 王世帥 將於2020年4月30日晚上7點於嗶哩嗶哩直播平臺「AWS 雲計算」官方帳戶上進行《「機器學習」並不難，使用 Amazon SageMaker 易上手》主題直播，感興趣的童靴不容錯過~
https://live.bilibili.com/219...

**另外，還有個好消息要向你們官宣！**

伴隨着國內開發者對雲計算技術關注度的持續走高，AWS 雲服務也成爲煊赫一時的話題之一。於是，不少開發者都在思否社區探討過關於 AWS 的操做筆記和部署方法。爲了進一步知足你們對 AWS 雲計算的學習需求，咱們正式宣佈：AWS 正式入駐思否社區！

接下來，咱們將在思否社區經過官方帳號，分享有關 Amazon人工智能和機器學習的關鍵服務，和思否1000萬開發者一塊兒探討有關 AWS 人工智能和機器學習服務的技術問題。願咱們攜手在成長道路上走得更遠！