reduce輸出結果到sqlserver數據庫異常

最近在作個hadoop統計的小項目，結果須要輸出到sqlserver數據，其中遇到一些小問題

在map、reduce進行的比較順利，由於數據比較規範，很快都搞定了

在運行時出現如下狀況

遇到這種狀況，第一時間想到是由於結點上驅動包的問題

對於缺乏驅動的問題，有兩種方案

一、在集羣的每一個結點${HADOOP_HOME}/lib下添加驅動包，並重啓集羣。這是最原始的方法，由於須要重啓集羣，不建議使用

二、先把驅動包上傳到集羣中

hadoop fs -put /lib/sqljdbc.jar

而後在新建Job以前添加到classpath環境中

Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(conf);
//添加到classpath
DistributedCache.addFileToClassPath(new Path("/lib/sqljdbc.jar"), conf, fs);

//必須在新建JOB以前執行，這樣才能在初始化 加載數據庫驅動、以及鏈接數據庫 傳入到conf中供JOB使用
DBConfiguration.configureDB(conf, "com.microsoft.sqlserver.jdbc.SQLServerDriver", 
    "jdbc:sqlserver://192.168.240.1:1433;DatabaseName=dbname", "sa", "123456");
Job job = new Job(conf, "statistic");

job.setJarByClass(DbnameDownedStatistic.class);
job.setMapperClass(StatisticMap.class);
job.setReducerClass(StatisticReducer.class);

job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);

job.setOutputKeyClass(StatisticDBWritable.class);
job.setOutputValueClass(Text.class);
job.setNumReduceTasks(4);

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(DBOutputFormat.class);

FileInputFormat.addInputPath(job, new Path("hdfs://node1:9000/user/hadoop/statictic/"));
String[] fileds = new String[] { "name","down", "count" };
DBOutputFormat.setOutput(job, "statistic", fileds);

System.exit(job.waitForCompletion(true) ? 0 : 1);

這裏須要注意的是

DBConfiguration.configureDB();

這個方法必須在new Job()以前執行，這樣conf才能加載到驅動包，才能保證其餘結點也能加載到驅動包