hive的數據傾斜以及優化策略

1. hive的數據傾斜  介紹：只要在分佈式一定有shuffle，避免不了出現數據傾斜，在混淆數據的過程中出現數據分佈不均勻。比如：在MR編程中reducetask階中的數據的大小不一致，即很多的數據集中到了一個reducetask中，hive的數據傾斜就是mapreduce的數據傾斜 maptask reducetask最後就是reducetask階段的數據傾斜。   不會產生數據傾斜的場景：

>>阅读原文<<