集羣運行task數量總結

使用集羣運行spark-sql計算 初始化大寬表 近二十年所有數據！ 1700個Tasks（計算10min + 寫入30min） 計算兩年數據量：130G 計算三年數據量：190G 平均每年數據量：60G+（2000萬條） 提交資源申請： 每個executor申請內存爲16G --executor-memory 12g \ --conf spark.yarn.executor.memoryOver

>>阅读原文<<