mapreduce案例：獲取PI的值

mapreduce案例：獲取PI的值

* content:核心思想是向以(0,0),(0,1),(1,0),(1,1)爲頂點的正方形中投擲隨機點。
* 統計(0.5,0.5)爲圓心的單位圓中落點佔總落點數的百分比，便可算出單位圓的面積Pi/4，
* 而後乘以4即獲得Pi的近似值。從輸入文件中讀入一行內容。每一行都是一個數字，
* 表明隨機投擲那麼多點來估算Pi的值。在Mapper中則隨機生成指定數量的隨機點(x,y)。
* x和y的範圍在0-1之間。而後求出(x,y)與(0.5,0.5)的距離。
* 若是超過0.5，則輸出

 

輸入的文件內容：即進行的次數

 

package com.hadoop.Pi;

import java.io.IOException;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

/*
 * @author:翟超科
 * time:2019.9.3
 * content:核心思想是向以(0,0),(0,1),(1,0),(1,1)爲頂點的正方形中投擲隨機點。
 * 統計(0.5,0.5)爲圓心的單位圓中落點佔總落點數的百分比，便可算出單位圓的面積Pi/4，
 * 而後乘以4即獲得Pi的近似值。從輸入文件中讀入一行內容。每一行都是一個數字，
 * 表明隨機投擲那麼多點來估算Pi的值。在Mapper中則隨機生成指定數量的隨機點(x,y)。
 * x和y的範圍在0-1之間。而後求出(x,y)與(0.5,0.5)的距離。
 * 若是超過0.5，則輸出
 * */
public class Pi {
    public static class PiMapper
        extends Mapper<Object, Text, Text, IntWritable>{
        //生成一個0-1的隨機數
        private static Random rd = new Random();
        //執行map
        public void map(Object key, Text value, Context context
                          ) throws IOException, InterruptedException {
            //實驗進行pointNum次
            int pointNum = Integer.parseInt(value.toString());
            for(int i = 0; i < pointNum; i++){
                // 取隨機數
                double x = rd.nextDouble();
                double y = rd.nextDouble();
                // 計算與(0.5,0.5)的距離，若是小於0.5就在單位圓裏面
                x -= 0.5;
                y -= 0.5;
                double distance = Math.sqrt(x*x + y*y);
                //若是隨機點在圓外，定義結果是0，不然爲1
                IntWritable result = new IntWritable(0);
                if (distance <= 0.5){
                    result = new IntWritable(1);
                }
                //將鍵值對交給reduce處理
                context.write(value, result);
            }
        }
    }

    public static class PiReducer
                    extends Reducer<Text,IntWritable,Text,DoubleWritable> {
        //定義結果變量
        private DoubleWritable result = new DoubleWritable();
        public void reduce(Text key, Iterable<IntWritable> values,
                            Context context
                            ) throws IOException, InterruptedException {

            double pointNum = Double.parseDouble(key.toString());
            double sum = 0;
            //求結果等於1的和
            for (IntWritable val : values) {
                sum += val.get();
            }
            //結果*4即爲PI值
            result.set(sum/pointNum*4);
            //輸出結果到輸出文件目錄
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf,"calculate pi");
        job.setJarByClass(Pi.class);
        job.setMapperClass(PiMapper.class);
        job.setReducerClass(PiReducer.class);
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(DoubleWritable.class);
        FileInputFormat.addInputPath(job, new Path("hdfs://192.168.13.101:9000/pi"));//輸入文件目錄
        FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.13.101:9000/output2"));//輸出文件目錄
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}