MapReduce中的數據傾斜

閱讀了網上別人整理寫作的博客，瞭解了數據傾斜的一些大概情況。 查閱論文了解一下比較前沿的算法解決思路。（看了好幾篇論文，找了幾個有意思的解決方案和大家分享一下） 查閱Apache官方論壇，瞭解一些實際中的解決應用。 專業名詞：data skew、partitioning skew、reduce skew、data locality 發現大概有兩種優化思路，一種是在shuffle階段做優化，使得re

>>阅读原文<<