Spark任務執行者之Executor

        這次講的是Executor,啥是Executor呢?Executor是幹什麼的?        當我們在生產環境中提交spark作業時,用spark-submit shell腳本里,往往需要指定一個參數:--num-executors,你可以指定爲3,5。。。這難道是隨便指定的?愛設多少就設多少?很顯然,答案是no,首先你得根據你集羣的資源情況來設定。那我們就有必要來弄清楚這個是什
相關文章
相關標籤/搜索