sqoop-import 並行抽數及數據傾斜解決

最近在數據中臺的數據抽數優化工作，由於單表數據量太大（每天千萬級別）導致sqoop抽數使用單實例報內存溢出以及抽數時間過長，決定採用sqoop的多實例並行抽數，參考了一些文檔，但同時遇到了一些問題，趁有點時間把遇到問題的解決方法寫下來供大家借鑑。  並行化 sqoop-常用命令及參數：https://www.yuque.com/shanyu-aqvcy/hkqgb7/vngsox sqoop 抽數

>>阅读原文<<