hivejob中map的優化

友情提示：更多有關大數據、人工智能方面技術文章請關注博主我的微信公衆號：高級大數據架構師！sql 一、Hive優化案例——map數過多微信 集羣運行的做業有很多map數超大的做業，佔用slot過多，致使其餘同池子的其餘做業等待狀態。因爲小文件數過多會佔用元數據過大，計算時也會消耗更多的資源。因此，建議文件的大小控制在不小於 100M。（文件也不是越大越好，gzip壓縮文件最好控制500M之內）架構

>>阅读原文<<