Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0開發環境

原文地址：http://www.linuxidc.com/Linux/2014-11/109200.htm

圖文詳解Windows 8.0上Eclipse 4.4.0 配置CentOS 6.5 上的Hadoop2.2.0開發環境，給須要的朋友參考學習。

Eclipse的Hadoop插件下載地址：https://github.com/winghc/hadoop2x-eclipse-plugin

將下載的壓縮包解壓，將hadoop-eclipse-kepler-plugin-2.2.0這個jar包扔到eclipse下面的dropins目錄下，重啓eclipse便可

進入windows->Preference配置根目錄

，這裏面的hadoop installation directory並非你windows上裝的hadoop目錄，而僅僅是你在centos上編譯好的源碼，在windows上的解壓路徑而已，該路徑僅僅是用於在建立MapReduce Project能從這個地方自動引入MapReduce所須要的jar

進入Window-->Open Perspective-->other-->Map/Reduce打開Map/Reduce窗口

找到

，右擊選擇，New Hadoop location，這個時候會出現

Map/Reduce(V2)中的配置對應於mapred-site.xml中的端口配置，DFS Master中的配置對應於core-site.xml中的端口配置，配置完成以後finish便可，這個時候能夠查看

測試，新建一個MapReduce項目，

，要解決這個問題，你必需要完成以下幾個步驟，在windows上配置HADOOP_HOME，而後將%HADOOP_HOME%\bin加入到path之中，而後去https://github.com/srccodes/hadoop-common-2.2.0-bin下載一個，下載以後將這個bin目錄裏面的東西所有拷貝到你本身windows上的HADOOP的bin目錄下，覆蓋便可，同時把hadoop.dll加到C盤下的system32中，若是這些都完成以後仍是碰到：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z，那麼就檢查一下你的JDK，有多是32位的JDK致使的，須要下載64位JDK安裝，而且在eclipse將jre環境配置爲你新安裝的64位JRE環境

。如個人jre1.8是64位，jre7是32位，若是這裏面沒有，你直接add便可，選中你的64位jre環境以後，就會出現了。

以後寫個wordcount程序測試一下，貼出個人代碼以下，前提是你已經在hdfs上建好了input文件，而且在裏面放些內容

import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class WordCount {
 public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
  private final static IntWritable one = new IntWritable(1);
  private Text word = new Text();
  public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
  StringTokenizer itr = new StringTokenizer(value.toString());
  while (itr.hasMoreTokens()) {
    word.set(itr.nextToken());
    context.write(word, one);
  }
  }
 }
 public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
  private IntWritable result = new IntWritable();
  public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
  int sum = 0;
  for (IntWritable val : values) {
    sum += val.get();
  }
  result.set(sum);
  context.write(key, result);
  }
 }
 public static void main(String[] args) throws Exception {
// System.setProperty("hadoop.home.dir", "E:\\hadoop2.2\\");
  Configuration conf = new Configuration();
  String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
  // if (otherArgs.length != 2) {
  // System.err.println("Usage: wordcount <in> <out>");
  // System.exit(2);
  // }
  Job job = new Job(conf, "word count");
  job.setJarByClass(WordCount.class);
  job.setMapperClass(TokenizerMapper.class);
  job.setCombinerClass(IntSumReducer.class);
  job.setReducerClass(IntSumReducer.class);
  job.setOutputKeyClass(Text.class);
  job.setOutputValueClass(IntWritable.class);
  FileInputFormat.addInputPath(job, new Path("hdfs://master:9000/input"));
  FileOutputFormat.setOutputPath(job, new Path("hdfs://master:9000/output"));
  boolean flag = job.waitForCompletion(true);
  System.out.print("SUCCEED!" + flag);
  System.exit(flag ? 0 : 1);
  System.out.println();
 }
}

ZOOM 雲視頻會議網站：http://www.zoomonline.cn/