Hadoop --- 數據傾斜問題

數據傾斜現象  數據傾斜實質上是指數據分佈不均勻。在利用HQL、Spark或MR等方式進行數據計算時，大量的數據被分配到某臺或某幾臺機器上，導致分佈於這些機器上的任務執行速度遠低於其他機器，甚至出現被kill的情況。 產生問題 個別任務卡住，執行速度很慢；Hadoop常見的現象是，一個作業的個別Reduce任務卡在99.9%，很長時間處理不完。 任務被kill掉；數據量大觸發FGC，導致沒有在設定

>>阅读原文<<