談笑間學會MapReduce-優化Map任務核心原理

優化Map任務 如何優化呢？首先我們要知道map任務這一階段的流程和瓶頸，纔可以進行「因材施教」進行優化，map任務流程圖如下： 由圖可知，詳細流程如下：在Read階段，map任務從Hadoop分佈式文件系統（HDFS）讀取固定大小（如64MB）的數據塊。而寫入的文件根據實際的情況也不同，可以是任意大小的數據塊（如80MB）。這種情況下，爲了存儲數據，就有兩種數據塊：一種是64MB，另一種是16M

>>阅读原文<<