MapReduce性能調優記錄

MapReduce原理 要知道怎麼對MapReduce做業進行調優前提條件是須要對Map-Reduce的過程瞭然於胸。 Map-Reduce運行原理圖： html Map Side 1.從磁盤讀取數據並分片java 默認每一個block對應一個分片，一個map tasknode 2.進行map處理算法 運行自定義的map業務過程apache 3.輸出數據到緩衝區中緩存 map輸出的數據並非直接寫入

>>阅读原文<<