spark 數據傾斜調優

一：均衡數據是我們的目標，或者說我們要解決數據傾斜的發力點。 一般說shuffle是產生數據傾斜的主要原因，爲什麼shuffle產生數據傾斜主要是因爲網絡通信，如果計算之前通過ETL（ETL(Extract-Transform-Load的縮寫，即數據抽取、轉換、裝載的過程)作爲BI/DW（Business Intelligence）的核心和靈魂，能夠按照統一的規則集成並提高數據的價值，是負責完成數

>>阅读原文<<