Spark的動態資源分配

跑spark程序的時候，公司服務器需要排隊等資源，參考一些設置，之前不知道，跑的很慢，懂得設置之後簡直直接起飛。 簡單粗暴上設置代碼： 1 def conf(self): 2 conf = super(TbtestStatisBase, self).conf 3 conf.update({ 4 'spark.shuffle.service.ena

>>阅读原文<<