hive的數據傾斜以及優化策略

1. hive的數據傾斜  介紹：只要在分佈式必定有shuffle，避免不了出現數據傾斜，在混淆數據的過程當中出現數據分佈不均勻。好比：在MR編程中reducetask階中的數據的大小不一致，即不少的數據集中到了一個reducetask中，hive的數據傾斜就是mapreduce的數據傾斜 maptask reducetask最後就是reducetask階段的數據傾斜。   不會產生數據傾斜的場景

>>阅读原文<<