【HADOOP】hadoop streaming指定不執行reducer過程

有時候,咱們只須要對文件作併發處理,並不關心相同key的記錄間的關係。併發 這時,只須要map函數處理輸入數據。app 若是不指定reducer選項,系統仍然會默認執行一次cat命令。框架 如何去了沒必要要的分桶排序操做呢?函數 方法一: 排序 把mapred.reduce.tasks設置爲零,Map/reduce框架就不會建立reducer任務,mapper任務的輸出就是整個做業的最終輸出。ma
相關文章
相關標籤/搜索