Sqoop採集數據的時候出現數據傾斜解決方法（--split-by --num-mappers）

注意： –split-by 後面要是int類型，並且是連續遞增的，那麼sqpli-by 會平分的很均勻，要是不是自增的那麼有的maptask還是很忙，而有的maptask則不是很忙 –num-mappers 後面設置的maptask數目大於1的話，那麼–split-by 後面必須跟字段，因爲–num-mappers 後面要是1的話，那麼 –split-mappers 後面跟不跟字段都沒有意義，因爲

>>阅读原文<<