簡單瞭解阿里雲批量計算(下篇)

關於阿里雲批量計算的詳細內容:數據庫

阿里雲批量計算使用教程ubuntu

(批量計算(BatchCompute)是一種適用於大規模並行批處理做業的分佈式雲服務。BatchCompute可支持海量做業併發規模,系統自動完成資源管理,做業調度和數據加載,並按實際使用量計費。BatchCompute普遍應用於電影動畫渲染、生物數據分析、多媒體轉碼、金融保險分析、科學計算等領域。)安全

功能特性
1. 提交做業
用戶使用工具(如SDK,命令行工具等)向 BatchCompute 提交做業,BatchCompute 使用用戶指定的鏡像(如:ubuntu)啓動虛擬機(VM), 在虛擬機中運行用戶程序, 運行完成後釋放虛擬機(VM)。服務器

  • BatchCompute中使用OSS做爲持久化存儲。您能夠在程序運行完成時將結果數據保存到OSS中。在批量計算中,也能夠經過文件接口的方式訪問OSS上的數據,請參閱OSS掛載功能。
  • BatchCompute程序默認運行在VM中,也能夠支持 Docker容器。 
  • 也就是說,您能夠自定義ECS鏡像或者使用Docker,在鏡像中安裝本身須要的任何軟件,用來運行您的任何程序。

做業描述
用戶須要提交一個做業(Job)描述JSON文件到批量計算服務,該JSON文件中詳細描述了須要執行哪些程序(能夠多個程序),運行哪些程序須要啓動多少臺機器,機器的規格(內存和CPU等),運行日誌打印到哪裏,完成後結果輸出到哪裏等。
一個做業(Job)包含多個任務(Task), 按照您指定DAG描述的順序執行。
每一個任務定義了使用哪一個鏡像,使用什麼實例規格,運行哪一個程序,須要多少臺機器運行,還有結果存儲在哪裏等。
2. 管理個人做業
您可使用工具(控制檯,命令行工具等),查看我提交的做業,能夠中止,重啓,或刪除做業。 查看各個任務的狀況,各個實例(VM實例)的狀況和日誌。下圖是控制檯的做業管理界面:
3. 使用集羣
因爲每次運行程序前須要啓動虛擬機,會佔用必定的時間(通常幾分鐘左右),遇到忙時有可能申請不到資源(虛擬機被其餘客戶使用了),您提交做業後可能須要等待一段時間才能運行。
若是您想要提升運行效率,能夠先建立好集羣,指定須要的虛擬機數量(好比:5臺)和鏡像ID,BatchCompute會爲您分配好機器並啓動,這些機器會一直處於運行狀態,一旦您提交做業上來,就能夠直接運行,效率較高。
4. 自定義鏡像
您提交做業或者建立集羣時,可使用批量計算官方提供的鏡像,也可使用自定義鏡像。自定義鏡像的好處是,能夠本身安裝須要的軟件。

產品優點併發

  • 海量併發
  • 支持十萬核級別併發規模。
  • 自動高效完成數據及計算分佈。
  • 彈性伸縮
  • 根據做業需求動態分配計算資源。
  • 支持任務依賴關係(DAG),輕鬆組建工做流。
  • 易用安全
  • 支持自定義鏡像。
  • 支持Open API易於集成。
  • 多租戶隔離。
  • 按量付費:按照計算資源實際使用量付費。

更多精品課程:負載均衡

7天玩轉雲服務器分佈式

雲數據庫的Redis版使用教程工具

玩轉雲存儲對象存儲OSS使用入門動畫

阿里雲CDN使用教程網站

負載均衡入門與產品使用指南

阿里雲大學官網(阿里雲大學 - 官方網站,雲生態下的創新人才工場

相關文章
相關標籤/搜索