模型訓練競品收集-阿里

阿里PAI
1、產品介紹
阿里雲機器學習平臺PAI（Platform of Artificial Intelligence），爲傳統機器學習和深度學習提供了從數據處理、模型訓練、服務部署到預測的一站式服務。
PAI DSW（Data Science Workshop）是爲算法開發者量身打造的雲端深度學習開發環境，包含Notebook和深度學習網絡可視化建模，支持開源框架的安裝，並提供阿里巴巴深度優化的Tensorflow框架，經過編譯優化提高訓練性能。
PAI-Studio爲開發者提供可視化的機器學習試驗開發環境，幫助用戶實現0代碼開發人工智能相關服務。內置數百個成熟的機器學習算法，覆蓋商品推薦、金融風控、廣告預測等場景。
EAS ( Elastic Algorithm Service ) 是PAI平臺的模型在線預測服務，支持異構硬件(CPU/GPU)的模型加載，高吞吐，低延遲；支持大規模複雜模型的一鍵部署，實時彈性擴縮容；提供完整的運維監控體系。
PAI AutoLearning（簡稱PAI AL）自動學習支持在線標註、自動模型訓練、超參優化以及模型評估。在平臺上只需準備少許標註數據，設置訓練時長便可獲得深度優化的模型，並支持一鍵完成模型部署。

2、應用場景
1.AI企業深度學習解決方案
經過PAI DSW，提供深度學習解決方案，支持實際業務場景，深度學習訓練模型可直接部署成服務供業務調用。
2.深度學習算法愛好者
經過PAI DSW，深度學習算法開發愛好者，隨時隨地編寫算法代碼。
3.教育與科研領域
經過PAI DSW，無需繁瑣的環境配置，輔助教育從業者快速實如今線教學演示與科研項目的開發。
4.新聞文本分類案例
經過PAI Studio，文本組件搭建的文本自動分類案例，能夠快速挖掘文章的主題；
經過主題權重的聚類，實現新聞自動分類。包括了分詞、詞型轉換、停用詞過濾、主題挖掘、聚類等流程。
5.心臟預測案例
經過PAI Studio，搭建的心臟病自動診斷案例，能夠預防心臟病的發生；
經過提取人體相關的體測指標，以數據挖掘方式來分析不一樣特徵對於心臟病的影響，將對預防心臟病起到相當重要的做用。
6.金融風控案例
經過PAI Studio，圖算法組件搭建的金融風控案例，能夠快速定位人羣中相互的信用關係；
經過圖算法，計算出其它人的信用指數，即獲得圖中每一個人是欺詐用戶的機率，這個數據能夠方便相關機構作風控。
7.商品推薦案例
經過PAI Studio，協同過濾算法搭建的商品推薦業務案例，能夠大大提升商品銷量；
經過人的購物行爲，藉助數據挖掘中的常見算法-協同過濾，挖掘人與人以及商品與商品的關聯關係，推進產品銷售額的提升。
8.阿里小蜜
基於PAI EAS，支持彈性擴縮容，全面提高資源利用率，雙十一當天單模型峯值達40W QPS，絲滑順暢，穩定支撐。
9.阿里媽媽廣告
基於PAI EAS，進行精準廣告投放，毫秒級數據響應，高性能保障核心業務收入。
10.阿里安全
基於PAI EAS，進行大規模圖片安全掃描，針對深度學習優化網絡協議，同時基於GPU加速在線推理處理效率。
11.阿里雲印刷文字識別
基於PAI EAS的高可用引擎，對數以萬計OCR用戶提供高SLA服務。

3、產品特點
1.簡單易用，經過可視化拖拽實現模型訓練，Notebook可視化交互式，一鍵式部署在線預測服務，打通機器學習全鏈路。

2.內置豐富的機器學習算法，封裝上百種機器學習算法，不只提供了基礎的聚類、迴歸類等機器學習算法，也提供了文本分析、特徵處理等比較複雜的算法。

3.高性能，支持高維稀疏數據場景，超大規模深度模型訓練；高效的結構化壓縮訓練，加速訓練；inference模型壓縮與量化，提高在線預測單機QPS。
4.低成本，支持CPU/GPU混合調度，高效的資源複用；多種適用客戶場景的計費方式，真正實現AI客戶的雲上降本。
5.解決方案豐富，積累了多種行業算法解決方案，包括泛推薦、金融風控、廣告預測、圖片分類等多種解決方案，幫助企業快速應用。

4、產品使用
1.PAI主流程

(1).數據準備，進行表的建立，支持txt或csv格式數據上傳；或經過OSS上傳數據；

(2).數據預處理，經過SQL腳本、類型轉換、歸一化組件，進行數據預處理

 

 

 

(3).數據可視化，經過全表統計組件，進行查看數據；

 

 

 

(4).算法建模，設置目標字段，進行算法模型訓練；

(5).模型評估，經過預測組件，進行評估查看；

 

 

 

 

2.PAI-DWS
(1).建立實例，選擇GPU資源；選擇NoteBook建模服務，選擇配置帶寬、網絡、存儲、第三方庫、內置案例等；

(2).上傳數據，在線開發、調試；進行ECS、NAS存儲文件的上傳、下載，以及掛載等；
　　 

(3).運行代碼，生成訓練模型；進行深度學習網絡可視化功能開發；

(4).模型部署，服務在線部署調用；

3.PAI-Studio
選擇可視化建模服務，經過對機器學習組件配置，進行可視化的拖拽式鏈接節點，搭建訓練流水線，一鍵模型訓練；支持Auto ML自動調參；
PAI支持自定義算法上傳功能，支持用戶使用SQL、SPARK2.0、PYSPARK2.0框架本身開發算法，而且把算法封裝爲一個組件上傳到PAI-STUDIO中使用；

 

 

4.PAI-EAS
對模型服務進行管理，支持模型調用信息查看；在線調試；查看日誌、監控、部署信息；服務擴容、中止、刪除等；
支持控制檯上傳模型、PAI Studio一鍵部署、PAI DSW部署、本地客戶端部署四種部署方式，快速將模型部署成爲Restful API；

 

 

 

5.PAI-AL
(1).數據標註，支持OSS數據源的在線標註或導入帶標籤的圖片；

(2).模型訓練評估，標註完成，設置訓練參數，進行模型訓練；以及訓練的效果、日誌等數據；內置圖片分類模型；

(3).模型發佈部署，對訓練好的模型評估能夠，進行發佈部署；