spark源碼學習(七);task任務的提交分析

                              spark入門學(七)task任務的提交分析            spark雖然在計算速度上比hadoop要強勢不少,可是這兩個框架在底層的數據流都要通過shuffle。由此,shuffle把spark的job分紅兩個階段,一個叫作shuffleMaptask,另一個是resultTask。前者主要是把運算所得的數據結果寫到指定的位置,
相關文章
相關標籤/搜索