shuffle調優

5.3、shuffle調優 spark在執行groupByKey、reduceByKey等操作時的，shuffle環節的調優。這個很重要。shuffle調優，其實對spark作業的性能的影響，是相當之高！！！經驗：在spark作業的運行過程中，只要一牽扯到有shuffle的操作，基本上shuffle操作的性能消耗，要佔到整個spark作業的50%~90%。10%用來運行map等操作，90%耗費在兩

>>阅读原文<<