Spark進階3

Spark 1.spark資源調度分析 3大結論 在默認情況下(在提交任務的時候沒有設置–executor-cores選項),每一個Worker爲當前的Application啓動一個Executor,這個executor會使用這個Worker的所有cores和1G內存 如果沒有設置–total-executor-cores,則集羣默認將剩餘所有的(cores)核數全部分配給application

>>阅读原文<<