Sqoop --m(--num-mappers)參數使用及優化

 Sqoop並行化是啓多個map task實現的,-m(或--num-mappers)參數指定map task數,默認是四個。當指定爲1時,能夠不用設置split-by參數,不指定num-mappers時,默認爲4,當不指定或者num-mappers大於1時,須要指定split-by參數。並行度不是設置的越大越好,map task的啓動和銷燬都會消耗資源,並且過多的數據庫鏈接對數據庫自己也會形成壓
相關文章
相關標籤/搜索