Spark_分區、任務等概念總結

Spark分區數、task數目、core數目、worker節點數目、executor數目梳理 spark隱式創建由操作組成的邏輯上的有向無環圖。驅動器執行時，它會把這個邏輯圖轉換爲物理執行計劃，然後將邏輯計劃轉換爲一系列的步驟（stage），每個步驟由多個任務組成。 步驟組成任務、數據組成任務。所以數據和對數據的操作都封裝在任務裏面了？數據是分佈的，那麼步驟的執行是什麼過程？因爲是流水線操作，所以

>>阅读原文<<