Mapreduce基本工作流程

map 端從hdfs讀入數據到完成映射到詳細過程： 以用wordcount計算一個文本爲例  讀取數據之後在內存中的大體形式是：鍵值對 map task 要做排序（方便索引），並且會把結果寫在本地磁盤上（而不是寫入hdfs，以免佔用大量資源），reduce直接通過yarn找到對應的map，從map的磁盤上讀取結果進行reduce（聚合）,也會通過歸併排序進行排序 reduce會把最終結果寫入hdf

>>阅读原文<<