DSW：面向AI研發的集成開發平臺

發佈會傳送門 產品詳情 雲原生技術，注重用戶體驗，提高研發效率 環境搭建是算法研發過程當中的重要一環，這裏除了硬件選型外，軟件環境的安裝配置，後續升級每每會耗費很多時間。DSW藉助阿里雲ECS，Docker和Kubernetes等雲原生技術，可以在2，3分鐘內幫用戶完成環境搭建。用戶能夠根據算法須要和成本考慮， 選擇阿里雲ECS提供的包括CPU和異構計算GPU在內的全部資源規格。不只支持預付費，還支持後付費。 DSW還配置了10多種適用於不一樣AI場景的典型軟件環境配置， 包括Tensorflow和PyTorch等主流訓練框架的不一樣版本組合，供用戶選擇。做爲高度開放的開發環境，DSW開放sudo權限給用戶、支持任意第三方庫安裝。 爲了知足不一樣水平層次和開發習慣的算法用戶，結合可視化，交互式編程和命令行輸入，DSW提供了3種編程入口：WebIde適用於工程化要求比較高的項目；JupyterLab適用於快速POC試驗；Terminal入口可用於快速執行Shell命令，運行程序和簡單的編輯等。

DSW還開發和預裝了各類JupyterLab和WebIDE插件， 好比廣受深度學習開發者喜好的可視化工具Tensorboard，用戶在DSW內經過Launcher，Commands打開，甚至還可使用%tensorboard魔法命令直接在Notebook中開啓等多種方式使用Tensorboard。不只支持本地文件，還能夠打開存放在OSS，ODPS裏的訓練日誌。針對算法同窗使用Python比較多的特色， DSW的WebIDE內安裝了Python插件， 能夠直接在瀏覽器內在線調試，單步跟蹤程序運行。用戶還能夠根據須要，自主安裝須要的任意插件。 DSW支持多種數據源讀寫，包括NAS， OSS，雲盤和MaxCompute，尤爲是內置了dswmagic魔法命令可讓用戶在ipynb文件中使用SQL語句讀寫MaxCompute表中數據，預置的SQL編輯器支持語法高亮、智能提示、自動補全等功能，還支持運行帶變量替換功能的Sql腳本。查詢結果自動以最友好的圖形化展現。 爲了節省資源成本，用戶能夠利用停機不收費功能，在實例閒置不用時關機保存環境， 須要時再一鍵快速恢復。此外， DSW支持用戶自定義鏡像安裝，能夠基於以前保存或定製的環境建立實例。 DSW在公有云上支持了屢次百隊以上規模的天池大賽，在阿里集團內一樣也承接着比賽，通過千錘百煉，證實不只適合我的和團隊研發，也支持大規模算法競賽和教育培訓。 安全性和穩定性是用戶比較關心的問題，DSW使用的計算，存儲和網絡資源，徹底是使用用戶本身的帳號購買，並部署到用戶本身的vpc內部， 能夠方便與用戶其餘數據打通。用戶間徹底隔離，還具有很是好的安全性。基於阿里雲ECS和容器服務， 穩定性有保障。 集成PAI的各能力組件，加速業務落地 身爲PAI這個你們庭的一員， DSW除了完成單機開發訓練功能以外， 還內置部分PAI的基礎能力。好比用戶能夠直接在實例內利用PAI視覺類算法包EasyVision進行圖像分類訓練評估、預測； 經過自動調參AutoML進行算法超參數自動調優；用戶甚至可以無感知的享受PAI編譯優化算法組件TAO提供的訓練過程當中的算子優化。最後， DSW還提供了供算法直接讀取MaxCompute表數據的CommonIO組件，支持TableRecordDataSet， TableReader，TableWriter等標準接口，方便訓練程序直接提交到PAI的分佈式訓練集羣。 能夠預見，在不久的未來， 會有更多的PAI算法包內置進DSW基礎鏡像內。 DSW也會依賴PAI SDK，圍繞數據讀取，加工，模型訓練， 模型管理以及在線服務等AI研發生產流程的關鍵環節，爲用戶提供像Pipeline搭建，調度和管理之類的一條龍服務。