Spark調優：數據本地化（調優）

數據本地化的級別： PROCESS_LOCAL task要計算的數據在本進程（Executor）的內存中。 NODE_LOCAL task所計算的數據在本節點所在的磁盤上。 task所計算的數據在本節點其他Executor進程的內存中。 NO_PREF task所計算的數據在關係型數據庫中，如mysql。 RACK_LOCAL task所計算的數據在同機架的不同節點的磁盤或者Executor進程的

>>阅读原文<<