Spark Job（Spark 架構角度）筆記

spark-shell中默認情況下沒有任何Job。 默認資源分配方式：在每個Worker上爲當前程序分配一個ExecutorBackend進程，且默認情況下最大化的使用Cores和Memory。 在一個Executor中一次性最多能運行多少併發的Task取決於當前Executor能夠使用的Cores的數量。 一個Stage中的多個任務具體分配給哪個節點執行主要取決於數據本地性。 線程並不會關心具體

>>阅读原文<<