模型訓練競品收集-華爲

華爲Model Arts

1、產品介紹

ModelArts是面向AI開發者的一站式開發平臺，提供海量數據預處理及半自動化標註、大規模分佈式訓練、自動化模型生成，及端-邊-雲模型按需部署能力，幫助用戶快速建立和部署模型，管理全週期AI工做流。

 

2、應用場景

ModelArts是一個一站式的開發平臺，可以支撐開發者從數據到AI應用的全流程開發過程。包含數據處理、模型訓練、模型管理、部署等操做，而且提供AI市場功能，可以在市場內與其餘開發者分享模型、API和數據集。

ModelArts支持應用到圖像分類、圖像檢測、視頻分析、語音識別、產品推薦、異常檢測等多種AI應用場景。

面向不一樣經驗的AI開發者，提供便捷易用的使用流程：

1.面向業務開發者，不需關注模型或編碼，可以使用自動學習流程快速構建AI應用；

2.面向AI初學者，不需關注模型開發，使用預置算法構建AI應用；

3.面向AI工程師，提供多種開發環境，多種操做流程和模式，方便開發者編碼擴展，快速構建模型及應用。

 

3、產品特點

1.數據治理

支持數據篩選、標註等數據處理，提供數據集版本管理，特別是深度學習的大數據集，讓訓練結果可重現。

ModelArts數據處理框架包含數據採集、數據篩選、數據標註、數據集版本管理功能，支持自動化和半自動化的數據篩選功能，自動化的數據預標註及輔助自動化標註工具。

 

2.極「快」致「簡」模型訓練

自研的MoXing深度學習框架，更高效更易用，大大提高訓練速度。

動態超參調整技術（動態 batch size、image size、momentum 等）；訓練數據壓縮、多級緩存；分佈式數據-模型混合並行；自動混合精度訓練（充分發揮硬件計算能力）等；

 

3.雲邊端多場景部署

支持模型部署到多種生產環境，可部署爲雲端在線推理和批量推理，也能夠直接部署到雲、邊、端多種場景。

在線推理服務，能夠實現高併發，低延時，彈性伸縮，而且支持多模型灰度發佈、A/B測試。一鍵部署，能夠直接推送部署到邊緣設備中，選擇智能邊緣節點，推送模型。

 

4.自動學習

支持多種自動學習能力，經過「自動學習」訓練模型，用戶不需編寫代碼便可完成自動建模、一鍵部署。

基於遷移學習、自動神經網絡架構搜索實現模型自動生成，經過算法實現模型訓練的參數自動化選擇和模型自動調優的自動學習功能，讓零AI基礎的業務開發者可快速完成模型的訓練和部署。

 

5.可視化工做流

使用GES（圖引擎服務）統一管理開發流程元數據，自動實現工做流和版本演進關係可視化，進而實現模型溯源。

ModelArts提供從數據、算法、訓練、模型、服務全流程可視化管理，無需人工干預，自動生成溯源圖；提供版本可視化比對功能，可幫助用戶快速瞭解不一樣版本間的差別。

 

6.AI市場

預置經常使用算法和經常使用數據集，支持模型在企業內部共享或者公開共享。

 

 

4、產品使用

1.業務開發者，使用自動學習構建模型

(1).準備數據，上傳或是從公共市場導入數據，支持數據集版本管理；

(2).建立訓練項目，選擇要訓練的數據集，進行訓練項目建立；

(3).數據標註，對訓練項目的數據集，進行人工標註；

(4).算法訓練，標註完成，設置訓練參數，進行自動訓練，放到模型管理模塊；

(5).部署上線，在模型管理找到對應的模型，進行在線部署；

 

 

(6).測試服務，對部署好的模型，進行在線測試驗證；

2.AI初學者，使用預置算法構建模型

(1).準備數據，上傳或是從公共市場導入數據，支持數據集版本管理；

(2).模型訓練，創建訓練做業，基於對數據源、運行參數、日誌等進行配置；圖片分類，基於ResNet_v1_50進行訓練，支持TensorFlow, TF-1.8.0-python2.7；

(3).訓練過程可視化，建立TensorBoard，進行訓練過程查看，進行實時圖表顯示；

(4).模型導入，訓練完成，將模型進行導入模型管理，支持模型版本管理；

(5).部署上線，在模型管理找到對應的模型，進行在線部署；

(6).測試服務，對部署好的模型，進行在線測試驗證；

(7).清除資源，刪除相關訓練資源，避免產生相關費用；

 

3.AI工程師，AI全流程開發

(1).準備數據，上傳或是從公共市場導入數據，支持數據集版本管理；

(2).模型訓練，創建訓練做業，選用MXNet引擎，基於已上傳的「train_mnist.py」訓練腳本，支持MXNet-1.2.1-python2.7的版本；

(3).模型編寫，建立NoteBook進行推理代碼和配置文件的編寫和修改，並進行數據的上傳，存儲到OBS；

(4).模型導入，從OBS中選擇數據，導入到模型管理模塊，選擇AI引擎；

(5).部署上線，在模型管理找到對應的模型，進行在線部署；

(6).測試服務，對部署好的模型，進行在線測試驗證；

(7).清除資源，刪除相關訓練資源，避免產生相關費用；

 

 

華爲MLS

1、產品介紹

機器學習服務（MLS），幫助用戶經過機器學習技術快速發現數據規律和構建預測模型，並將其部署爲預測分析解決方案(數據挖掘分析平臺服務)。

 

2、應用場景

1.產品推薦

場景說明：根據客戶自己屬性和行爲特徵等（年齡、性別、工做類型、婚姻情況、文化程度、我的貸款、收入狀況），預測客戶是否願意辦理相關業務，爲客戶提供個性化的業務推薦；

推薦算法：隨機決策森林分類、梯度提高樹分類；

場景案例：銀行理財推薦、車輛訂價預測；

2.客戶分羣

場景說明：經過數據挖掘來給客戶作科學的分羣，依據不一樣分羣的特色制定相應的策略，從而爲客戶提供適配的產品、制定針對性的營銷活動和管理用戶，最終提高產品的客戶滿意度，實現商業價值；

推薦算法：K-均值；

場景案例：零售商客戶分羣；

3.異常檢測

場景說明：在網絡設備運行中，用自動化的網絡檢測系統，根據流量狀況實時分析，預測可疑流量或可能發生故障的設備；

推薦算法：基於PCA的異常檢測、孤立森林；

場景案例：網絡入侵檢測；

4.預測性維護

場景說明：爲設備建立預測模型並提供預見性維護建議和計劃，減小故障時間和發生概率，從而提升效率和下降成本；

推薦算法：邏輯迴歸、梯度提高樹迴歸

場景案例：汽車製造與維護

5.駕駛行爲分析

採集駕駛員不良駕駛習慣（好比：急加速、急轉彎、急減速、超速、疲勞駕駛等），經過建模分析駕駛員駕駛習慣優良程度；

面向企業車隊提供駕駛員評級，約束不良駕駛習慣；面向我的車主，提供駕駛習慣優化建議，下降事故率和下降油耗，對於保險公司，能夠用於UBI場景。

 

3、產品特色

1.拖拽式交互，經過可視化的拖拽式工做流，實現不一樣節點的鏈接，建立工做流，進行數據處理、模型訓練、評估和預測，並以合適的圖表將結果可視化輸出。

2.可視化，數據可視化和模型可視化功能，數據、機器學習模型即時可視，包括數據可視化、模型可視化和模型評估結果可視化。

3.交互式Notebook，交互式建模方式，兼容第三方開發包，支持多種開源建模語言（Python等），提供數據可視化能力；

4.預置豐富算法，預置300多種豐富的機器學習算法，知足從數據導入和處理，到模型訓練和評估、導出，覆蓋預測分析端到端業務；

5.一站式，提供特徵工程、機器學習算法、建模、預測、部署、調度，模型全生命週期管理的機器學習一站式機器學習應用；

支持從數據分析、算法、模型構建、模型可視、模型評估、模型應用、模型預測的一站式應用；支持一鍵部署、自動化建模、預測分析可視化。

 

4、產品使用

1.場景介紹：介紹使用場景和使用的數據信息，該場景模板的數據已提早預置在OBS中，您無需上傳便可直接使用；

2.準備工做：在華爲雲OBS中建立桶，用於存放數據集和模型；

3.步驟一：建立ML Studio實例：基於已有的數據集，建立ML Studio實例，選擇服務器、帶寬、存儲進行配置；

 

4.步驟二：使用ML Studio建模：選擇場景或算法類型，建立工做流，而後啓動模型訓練；進行數據集、模型、訓練節點的可視化查看；

 

 

 

 

5.步驟三：使用ML Studio預測：使用已經保存好的模型和其餘餐廳的相關數據，預測銷售額。