spark 大型項目實戰(五十三):數據傾斜解決方案之聚合源數據

數據傾斜的解決，跟以前講解的性能調優，有一點殊途同歸之妙。web 性能調優，跟你們講過一個道理，「重劍無鋒」。性能調優，調了半天，最有效，最直接，最簡單的方式，就是加資源，加並行度，注意RDD架構（複用同一個RDD，加上cache緩存）；shuffle、jvm等，次要的。sql 數據傾斜，解決方案，第一個方案和第二個方案，一塊兒來說。最樸素、最簡譜、最直接、最有效、最簡單的，解決數據傾斜問題的方案

>>阅读原文<<