Spark-core之Shuffle

文章目錄 什麼是Shuffle？ RDD中 partition 個數怎麼定？（小插曲） 有哪些算子會產生shuffle？ 1）repartition 系列的操做 ①spark-shell代碼測試 ②DAG圖分析 ③IDEA代碼測試 ④repartition 和 coalesce在生產中的應用？？（重要） 2）‘ByKey系列的操做 ①reduceByKey(func, [numPartitions

>>阅读原文<<