簡單瞭解阿里雲批量計算(上篇)

什麼是批量計算:
      批量計算(BatchCompute)是一種適用於大規模並行批處理做業的分佈式雲服務。BatchCompute可支持海量做業併發規模,系統自動完成資源管理、做業調度和數據加載,並按實際使用量計費。
      通俗的講,就是您提交一個程序(任意的計算機程序),讓它在阿里雲機房中的多臺機器上同時運行,而後把結果寫入到指定的位置(OSS,阿里雲對象存儲服務),您能夠去指定位置查看結果。
關於阿里雲批量計算的詳細內容:
阿里雲批量計算使用教程
(批量計算(BatchCompute)是一種適用於大規模並行批處理做業的分佈式雲服務。BatchCompute可支持海量做業併發規模,系統自動完成資源管理,做業調度和數據加載,並按實際使用量計費。BatchCompute普遍應用於電影動畫渲染、生物數據分析、多媒體轉碼、金融保險分析、科學計算等領域。)

產品架構

BatchCompute總體架構,包括:數據庫

  • BatchCompute入口
  • 批量計算服務提供基於HTTP的API。在API之上還封裝了一些工具,好比SDK,命令行工具,控制檯等。
  • 您能夠使用這些工具向BatchCompute提交做業,查詢做業運行狀態,並管理做業生命週期(好比中止已提交的做業,釋放已完成的做業等)。
  • 運行環境

BatchCompute經過虛擬化技術構建沙箱,並在其中運行用戶程序,確保用戶環境和用戶數據的安全性。您能夠自行定製其虛擬機鏡像。ubuntu

  • OSS持久化存儲
  • OSS 有完善的用戶管理和安全機制。
  • BatchCompute使用 OSS 做爲持久化存儲。
  • 用戶的程序、自定義Docker鏡像、輸入輸出數據都存儲在 OSS 中。

名詞解釋
做業
用戶的每一個特定的計算需求在BatchCompute中被描述爲一個做業(Job)。在BatchCompute系統中,用戶能夠經過BatchCompute管理控制檯或SDK提交、管理和查詢做業。
任務
一個做業由一組任務(Task)及其依賴關係組成。批量計算支持能以有向無環圖(directed acycline graph,DAG)形式描述的做業。任務間的依賴關係只能在做業提交時指定,提交完成後不能修改。
實例
每一個任務能夠有一個或多個執行實例(Instance)。同一任務的各個實例並行處理各自的輸入數據。實例是BatchCompute調度與執行的最小單元,這些實例會動態的運行在後臺分佈式系統的各節點上。
集羣
一系列的VM實例組在BatchCompute中被定義爲一個集羣(Cluster)。一個集羣能夠由多個實例組(Group)組成,一個組中的實例共享一樣的實例類型定義(實例類型,CPU,Memory等),多個組之間共享鏡像(Image)。
鏡像
鏡像(Image)是集羣資源建立或者做業運行環境的模板。它是一個標準的或者自定義的ECS鏡像,須要安裝BatchCompute Agent,而後受權給BatchCompute服務使用。
Docker鏡像
使用官方提供的ubuntu鏡像(內置Docker容器支持),能夠支持自定義Docker鏡像。自定義Docker鏡像像普通鏡像同樣,能夠本身安裝運行做業的各類程序。具體方法請看這裏: 使用Docker。安全

更多精品課程:服務器

7天玩轉雲服務器架構

雲數據庫的Redis版使用教程併發

玩轉雲存儲對象存儲OSS使用入門負載均衡

阿里雲CDN使用教程分佈式

負載均衡入門與產品使用指南工具

阿里雲大學官網(阿里雲大學 - 官方網站,雲生態下的創新人才工場)簡單瞭解阿里雲批量計算(上篇)動畫

相關文章
相關標籤/搜索