MapReduce總體工作機制

MapReduce總體工作機制 map邏輯完之後,將map的每條結果通過context.write進行collect數據收集。 在collect中,會先對其進行分區處理,默認使用HashPartitioner。 MapReduce提供Partitioner接口,它的作用就是根據key或value及reduce的數量來決定當前的這對輸出數據最終應該交由哪個reduce task處理。 默認對key
相關文章
相關標籤/搜索