Hadoop mapreduce原理

1.map任務處理: 1.1 讀取hdfs文件爲內容,把內容中的每一行解析成一個個的鍵(key)值(value)對.文件總是有行的,鍵是字節的偏移量,值是每一行的內容,每一個鍵值對調用一次map函數.map函數處理輸入的每一行. 1.2 自定義map函數,寫自己的邏輯,對輸入的key,value(把每一行解析出的key,value)處理,轉換成新的key,value輸出. 1.3 對輸出的key,

>>阅读原文<<