MR知識點

MR：數據處理的編程模型 MR原理 輸入文切割(默認按照最大切片(Long最大值)，最小切片（>=1），塊大小取（默認128M）三者中間值)，形成k-v，併發執行。 k-v進入map，執行map函數 shuffle:根據map的輸出，利用緩衝寫到內存。根據reduce個數進行預分區、預排序，其結果在網絡間分發（suffer），作爲reduce的輸入。 複製map的輸出文件，合併，執行reduce函

>>阅读原文<<