數據傾斜

目錄 1 什麼是數據傾斜？ 2 導致數據傾斜的原因 2.1 單個值有大量記錄 2.2 唯一值較多 1 什麼是數據傾斜？ 如圖所示： 簡單來說數據傾斜就是數據的key 的分化嚴重不均，造成一部分數據很多，一部分數據很少的局面。 舉個 word count 的入門例子: 它的map 階段就是形成 （「aaa」,1）的形式，然後在reduce 階段進行 value 相加，得出 「aaa」 出現的次數。若

>>阅读原文<<