Spark任務調優(1)——數據本地化

Spark官網有關於數據本地化的相關介紹:http://spark.apache.org/docs/2.1.0/tuning.html#data-locality 本地化說明 數據本地化可以對Spark任務的性能產生重大影響。如果數據和操作數據的代碼在一塊,計算通常會很快。但是如果數據和代碼不在一起,就必須將一方移動到另一方。通常,將序列化的代碼塊從一個地方發送到另一個地方要比發送數據更快,因爲代
相關文章
相關標籤/搜索