【筆記】Mapreduce數據傾斜與優化

1、數據傾斜web 數據分佈：ruby 正常的數據分佈理論上都是傾斜的，就是咱們所說的20-80原理：80%的財富集中在20%的人手中, 80%的用戶只使用20%的功能 , 20%的用戶貢獻了80%的訪問量 。網絡 1.產生緣由： Mapreduce程序在運行的時候，運行了大部分，可是還有部分reduce還在運行，甚至長時間運行，最終致使整個程序運行時間很長才結束。app 形成這種現象的主要緣由是

>>阅读原文<<