大數據知識寶典（Spark篇之shuffle過程）

注：本文主要摘錄於尚硅谷大數據的學習資料，僅作學習記錄，請勿用於商業用途。 Spark shuffle過程 HashShuffle過程介紹 Spark豐富了任務類型，有些任務之間數據流轉不需要通過Shuffle，但是有些任務之間還是需要通過Shuffle來傳遞數據，比如wide dependency的group by key。 Spark中需要Shuffle輸出的Map任務會爲每個Reduce創建

>>阅读原文<<