RDD執行的流程

  RDD執行流程 textFile() 是創建最原始的RDD,不屬於transformation 在真正計算的時候有可能有多個階段,有多少個階段呢,取決於所處理的數據也沒有shuffle,如果有shuffle,就被劃分成兩個階段,因爲需要按照一定的規律把數據分到同一個分區裏面,如果有shuffle,就要切分stage,程序先執行先前的stage,然後再執行後面的stage,一個stage會有多個

>>阅读原文<<