[大數據]連載No9之SparkCore核心篇-資源調度

本次總結見目錄 stage切割規則 1:每一個stage的並行度由task個數決定，task由partition個數決定，partitio由數據大小決定，或者說，stage並行度由最後一個RDD的partiton決定 2：每個task的處理邏輯就是每條線貫穿的Stage的所有的partition的處理邏輯，以遞歸函數的展開式整合起來的 見圖 Spark任務調度流程 代碼： 1）var conf =

>>阅读原文<<