MapReduce詳解之shuffle階段

MapReduce詳解之shuffle階段(看圖理解): Mapreduce的過程整體上分爲四個階段:InputFormat MapTask ReduceTask OutPutFormat 當然中間還有shuffle階段 InputFormat: 我們通過在runner類中用 job.setInputPaths 或者是addInputPath添加輸入文件或者是目錄(這兩者是有區別的)不同的業務他們
相關文章
相關標籤/搜索