Apache Spark——Shuffle 過程

    如果我們將 map 端劃分數據、持久化數據的過程稱爲 shuffle write，而將 reducer 讀入數據、aggregate 數據的過程稱爲shuffle read。那麼我們來了解一下，在spark中，如何將shuffle write和shuffle read加入到邏輯或者物理執行圖中並高效實現。 Shuffle write      spark的shuffle通常使用HashMa

>>阅读原文<<