HIVE數據傾斜

數據傾斜的定義 由於各種原因造成數據分佈不均勻，造成數據大量集中在一點，造成數據熱點。 數據傾斜產生的現象 執行任務的時候，任務進度卡在99%，打開監控查看，只有一個或N個reduce任務處於運行未完成的狀態。 這是因爲處理的數據數量相比較其他reduce節點數據要大 單一reduce處理數據量比平均reduce處理的數據量要大，通常是3倍甚至更多。處理時間也大於平均時長。 數據傾斜的情況 數據傾

>>阅读原文<<