關於spark中 task數據本地化的五種方式

Spark中,數據的本地化方式分爲五種web PROCESS_LOCAL : 進程本地化 , task計算的數據在當前Executor中 不一樣task計算的時候能夠共同用這一個數據集,效率高,節省資源 NODE_LOCAL : 節點本地化 , task計算的數據在當前節點上,task計算的時候不須要跨節點拉取數據,速度也是比較快的 NO_PREF : 沒有本地化 ,這個方式的意思就是數據不是本地

>>阅读原文<<