MapReduce的map階段內存詳解

1.在HDFS文件系統讀取數據 2.對數據進行合併 3.進行邏輯切分 4.ReduceRead 將數據進行切分 key爲行首字母的偏移量 value爲對應的行數據 5.根據業務需求書寫map的java代碼 6.講數據讀取到內存緩衝區(默認100M)中 7.讀到一定的閾值(默認0.8)往外面寫出一個小文件 8.寫出到達一定的文件時進行一定的個數(默認10個)時進行合併 9.最終寫出磁盤

>>阅读原文<<