Hive 設置map 和 reduce 的個數

1、    控制hive任務中的map數:  1.    一般狀況下,做業會經過input的目錄產生一個或者多個map任務。  主要的決定因素有: input的文件總個數,input的文件大小,集羣設置的文件塊大小(目前爲128M, 可在hive中經過set dfs.block.size;命令查看到,該參數不能自定義修改); 2.    舉例:  a)    假設input目錄下有1個文件a,大小
相關文章
相關標籤/搜索