Hadoop Streaming 輸出文件分割

Hadoop  streaming框架默認狀況下會以'/t’做爲分隔符,將每行第一個'/t’以前的部分做爲key,其他內容做爲value,若是沒有'/t’分隔符,則整行做爲key;這個 key /t value 對又做爲reduce的輸入。hadoop 提供配置供用戶自主設置分隔符。         -D stream.map.output.field.separator  :設置map輸出中ke
相關文章
相關標籤/搜索