MapReduce如何解決數據傾斜問題

前言：數據傾斜是日常大數據查詢中隱形的一個BUG，遇不到它時你覺得數據傾斜也就是書本博客上的一個無病呻吟的偶然案例，但當你遇到它是你就會懊悔當初怎麼不多瞭解一下這個赫赫有名的事故。 當然你和數據傾斜的緣分深淺還是看你公司的業務邏輯和數據量有沒有步入數據傾斜的領地。   說明：關於數據傾斜的產生原因我將結合 map 和 reduce 階段中的 shuffle 來講解，若是對 shuffle 有所忘記

>>阅读原文<<