Hadoop- MR的shuffle過程

  step1 input InputFormat讀取數據,將數據轉換成<key ,value>對,設置FileInputFormat,默認是文本格式(TextInputFormat)   step2 map map<KEYIN, VALUEIN, KEYOUT, VALUEOUT> 默認情況下KEYIN:LongWritable,偏移量。VALUEIN:Text,KEYOUT與VALUEOUT要
相關文章
相關標籤/搜索