spark資源調度整合任務調度 spark-shuffer及調優 spark分組排序二次排序

 1.apark資源調度整合任務調度(前兩天分別詳細寫到spark資源調度和spark任務調度)    如下圖:  2.shuffer及調優: hashshuffer sortshuffer shuffer有兩個階段： shuffer write:將數據寫到磁盤小文件 shuffer read:將數據從小文件中讀取出來 shuffer調優: SparkConf.set("spark.shuffle

>>阅读原文<<