spark從入門到放棄五十五:設置executor 數量 和task 並行數

一.指定spark executor 數量的公式 在spark standalone 模式下無法直接指定每個worker 創建多少個executor 但是我們可以使用這樣的方式。 executor 數量 = spark.cores.max/spark.executor.cores spark.cores.max 是指你的spark程序需要的總核數 spark.executor.cores 是指每個

>>阅读原文<<