【Spark系列】:Spark的數據本地化

1.數據的本地化級別有哪些? Spark 中任務的處理需要考慮數據的本地性,以 spark 1.6 爲例,目前支持以下幾種: PROCESS_LOCAL:進程本地化,表示 task 要計算的數據在同一個 Executor 中。 NODE_LOCAL:節點本地化,速度稍慢,因爲數據需要在不同的進程之間傳遞或從文件中讀取。分爲兩種情況,第一種:task 要計算的數據是在同一個 worker 的不同 E
相關文章
相關標籤/搜索