Hadoop Streaming 實戰: 輸出文件分割

咱們知道,Hadoop streaming框架默認狀況下會以'/t’做爲分隔符,將每行第一個'\t’以前的部分做爲key,其他內容做爲value,若是沒有'\t’分隔符,則整行做爲key;這個key/tvalue對又做爲reduce的輸入。hadoop 提供配置供用戶自主設置分隔符。        -D stream.map.output.field.separator :設置map輸出中key和
相關文章
相關標籤/搜索