Hadoop入門——數據處理

1.map和reduce ​ MapReduce任務編寫分爲兩個階段：map階段和reduce階段，每個階段都以鍵值對作爲輸入和輸出。對於NCDC數 據找出每年的最高氣溫，map階段輸入爲原始數據以偏移量爲鍵，每行數據爲值，輸出每條記錄的年份與溫度的鍵值對，如圖所示： 圖1 map階段輸入數據格式 圖2 map階段輸出數據格式 ​ reduce階段的輸入爲map階段的輸出，該輸出經過處理後將相同鍵

>>阅读原文<<