Hadoop MapReduce下一代 - 命令行Mini集羣

目的：

使用命令行接口運行Mini集羣，用戶能夠使用一個簡單的命令啓動或者中止一個單節點的Hadoop集羣，不須要設置任何環境變量和管理配置文件。這個CLI Mini集羣將會啓動Yarn/MapReduce和HDFS。

這個案例適合想要快速體驗一個真實的Hadoop集羣或者測試一個沒有java程序的功能。

Hadoop Tarbar

你應該儘量的使用Hadoop tarball的release版本，固然，你也能夠從源代碼建立一個tarball：

$mvn clean install -DskipTests
$mvn package -pdist -Dtar -DskipTests -Dmaven.javadoc.skip

注意：在安裝tarball以前須要 protoc 2.5.0被安裝

tarball竟可能的安裝在hadoop-dist/target/目錄。

運行Mini集羣：

從root目錄解壓出tarball，你能夠使用下面的命令啓動CLI Mini集羣：

$ bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.4.1-tests.jar minicluster -rmport RM_PORT -jhsport JHS_PORT

在上邊命令行的例子中，RM_PORT和JHS_PORT應該被用戶選擇的端口號替換。若是沒有被指定，將會隨機分配端口給用戶。

經過其餘的屬性配置，當控制服務啓動的時候這兒有一些控制命令參數能夠被用戶使用。 有效的命令行參數：

$ -D <property=value>    Options to pass into configuration object
$ -datanodes <arg>       多少datanode節點被啓動 (默認爲1)
$ -format                格式化DFS(默認爲false)
$ -help                  打印幫助信息.
$ -jhsport <arg>         (default 0--we choose)
$ -namenode <arg>        NameNode的URL (默認是DFS集羣或者一個臨時目錄)
$ -nnport <arg>          NameNode port (default 0--we choose)
$ -nodemanagers <arg>    多少個NameNodes被啓動 (default 1)
$ -nodfs                 不容許啓動一個 mini DFS 集羣
$ -nomr                  Don't start a mini MR cluster
$ -rmport <arg>          ResourceManager 端口(default 0--we choose)
$ -writeConfig <path>    保存配置到指定的文件（path）.
$ -writeDetails <path>   以json格式寫入基本信息到指定的目錄（path）.

用戶能夠經過-help參數命令顯示了有效列表的參數使用方法。