從reduceByKey執行過程分析ShuffleReader

Spark是以Shuffle作爲Stage的分界的，Shuffle分爲ShuffleWrite和ShuffleRead兩個過程。 ShuffleWriter負責將中間結果寫到磁盤上，可以理解爲是當前Stage結束的收尾操作；最後ShuffleRead用於讀取ShuffleWrite生成的Shuffle文件，可以理解爲它是下一個Stage開始的那個操作； 之前已經分析過三種ShuffleWrite的

>>阅读原文<<