3-spark_shuffle過程-Standalone

shuffle過程 http://www.javashuo.com/article/p-cklavxtc-mz.html shuffle 是什麼： 爲什麼要shuffle： 針對兩類操作： 聚合（groupby） + 排序（sortby) 這兩類操作每個partition需要用到所有其他所有partition的數據，也就是寬依賴 shuffle做了什麼： 分成兩個階段： map端shuffle w

>>阅读原文<<