Spark Shuffle解析

本文是《圖解Spark核心技術與案例實戰》一書的讀書筆記，簡單講解了Spark Shuffle的相關內容。 Shuffle 介紹 shuffle 在spark 中是連接不同stage的橋樑，連續的若干個算子如果不涉及到shuffle操作，那麼就可以作爲一個stage使用流水線的方式執行，不用生成和讀取中間結果，提高速度。而shuffle就是前一個stage輸出中間結果和後一個stage讀取中間結果

>>阅读原文<<