hadoop之 mapreduce example（2）

解釋下 第一篇 程序的意思

Job ’s setJarByClass() 便於hadoop查找並加載相關的jar包文件

FileInputFormat.addInputPath() 設置輸入路徑，能夠是一個文件，也能夠是一個文件夾，並且能夠被調用屢次，用以加載不一樣的輸入路徑。

FileOutputFormat.setOutputPath() 設置輸出路徑，reduce函數會講 文件寫入該路徑。在job執行前，該文件夾不能存在，不然hadoop會拋出異常.

org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://hadoop:9000/hadoop/out already exists
    at org.apache.hadoop.mapreduce.lib.output.FileOutputFormat.checkOutputSpecs(FileOutputFormat.java:146)
    at org.apache.hadoop.mapreduce.JobSubmitter.checkSpecs(JobSubmitter.java:266)
    at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:139)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
    at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
    at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
    at com.hadoop2.serialize.job.MaxTemperatureJob.main(MaxTemperatureJob.java:46)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:497)
    at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)

經過setMapperClass()和setReducerClass()方法 設置map和reduce類型

setOutputKeyClass()和setOutputValueClass() 方法用以控制reduce函數輸出類型，而且必須匹配reduce函數的輸出類型，好比程序中輸出key是Text，value 是IntWritable。

若是map和reduce的輸出類型是一致的，就不須要設置map函數的輸出類型，默認是一致的。可是若是不同，須要設置map函數的輸出類型。

job.setInputFormatClass() 能夠設置輸入類型，默認使用TextInputFormat，因此 若是使用文本不須要設置。

waitForCompletion() 從命名上就能夠看出是 提交job並等待完成。

上面的程序是遠程執行的，不須要打jar包，我認爲這樣更加方便。