數據傾斜及解決方案

數據傾斜 概述： 當reducer端從mappertask中去抓取屬於它自己的數據的時候大量的相同的key被分到了同一個reducer區(shuffer) 原因： 當上遊的數據需要分組到下游任務的時候，數據出現了不均勻的現象 ​ 1.key的性質， ​ 2.key本身不好 ​ 3.（shuffer） 現象： 絕大多數的ReducerTask都執行的非常快 但有個別的ReducerTask執行的非常

>>阅读原文<<