Spark的Shuffle過程

爲什麼80%的碼農都做不了架構師?>>>                Shuffle過程分爲shuffle write和shuffle read。 由父RDD(比如join就是join兩邊的RDD)根據分區數進行劃分,並寫內存或磁盤,構成write過程。由子RDD(join之後生成的RDD,分區數由spark.default.parallelism控制)從父RDD那裏拉取數據到自己的分區構成re
相關文章
相關標籤/搜索