spark 架構及運算邏輯

Spark的總體流程爲:Client 提交應用,Master找到一個Worker啓動Driver,Driver向Master或者資源管理器申請資源,以後將應用轉化爲RDD Graph,再由DAGScheduler將RDD Graph轉化爲Stage的有向無環圖提交給TaskScheduler,由TaskScheduler提交任務給Executor執行。在任務執行的過程當中,其餘組件協同工做,確保整
相關文章
相關標籤/搜索