spark調優之Spark做業資源分配

      每一臺host上面能夠並行N個worker，每個worker下面能夠並行M個executor，task任務組會被分配到executor上面去執行。Spark經過shuffle將任務分紅多個stage。緩存       CPU的core數量，每一個executor能夠佔用一個或多個core，能夠經過觀察CPU的使用率變化來了解計算資源的使用狀況，例如，很常見的一種浪費是一個executo

>>阅读原文<<