【調優經典】Map和Reduce 個數的設定 經典

  1、    控制hive任務中的map數: node 1.    一般狀況下，做業會經過input的目錄產生一個或者多個map任務。  主要的決定因素有： input的文件總個數，input的文件大小，集羣設置的文件塊大小(目前爲128M, 可在hive中經過set dfs.block.size;命令查看到，該參數不能自定義修改)； 2.    舉例：  a)    假設input目錄下有1個

>>阅读原文<<