MapReduce初識

MapReduce分爲兩部分:map階段和reduce階段 MapReduce優點:並行計算 MapReduce的整個工作過程 input:輸入原始數據 mapreduce框架:自動將每一行數據用行號來編成key(輸入給map之前) map:輸入給map是k–v,經過map的處理,將每一行單獨轉換成另外的k—v段 (注:map輸出的數據有很多重複的,並且沒有被排序,不利於下一步的reduce處理,
相關文章
相關標籤/搜索