第6章-MapReduce的工做機制-筆記

做業的提交

能夠只用一行代碼來運行一個MapReduce做業：

    JobClient.runJob(conf)。

做業的調度

Hadoop做業調度演進

一、早期版本的Hadoop使用FIFO調度算法來運行做業

早期版本的Hadoop使用一種很是簡單的方法來調度用戶的做業：

按照做業提交的順序，使用FIFO（先進先出）調度算法來運行做業。

二、隨後，經過設置mapred.job.priority或JobClient的setJobPriority（）方法來設置優先級

三、Hadoop的調度器種類

在Hadoop中，MapReduce的調度器能夠選擇。

1）、默認的調度器是原始的基於隊列的FIFO調度器。

2）、Fair Scheduler 公平調度器

3）、Capacity Scheduler

MapReduce的工做機制相關知識點：

一、經過調用什麼代碼運行一個MapReduce做業？

   JobClient.runJob(conf);

二、hadoop運行做業的整個過程圖解

三、hadoop運行做業的整個過程包含幾個獨立的實體？

它包含如下4個獨立的實體：

    1）、客戶端：提交MapReduce做業。

    2）、jobtracker：協調做業的運行。

    jobtracker是一個Java應用程序，它的主類是JobTracker。

    3）、tasktracker：運行做業劃分後的任務。

    tasktracker是一個Java應用程序，它的主類是TaskTracker。

    4）、分佈式文件系統（通常爲HDFS）

    用來在其餘實體間共享做業文件。