Spark map-side-join 關聯優化

將多份數據進行關聯是數據處理過程當中很是廣泛的用法，不過在分佈式計算系統中，這個問題每每會變的很是麻煩，由於框架提供的 join 操做通常會將全部數據根據 key 發送到全部的 reduce 分區中去，也就是 shuffle 的過程。形成大量的網絡以及磁盤IO消耗，運行效率極其低下，這個過程通常被稱爲 reduce-side-join。java 若是其中有張表較小的話，咱們則能夠本身實如今 map

>>阅读原文<<