MapReduce之Partitioner的理解

咱們知道在執行map任務的時候,會將key/value寫入內存或者磁盤。服務器 這個時候咱們在往內存寫數據的時候,會根據key建立分區。app   問題一:爲什要建立分區?dom   咱們若是文件很大,咱們只使用一個reducer,這個reducer就要負責去全部map端取數據。那麼勢必會帶來性能問題,並且服務器資源也沒有合理利用起來ide   若是要合理利用,則須要多起幾個reducer,那這幾
相關文章
相關標籤/搜索