Linux Hadoop2.7.3 安裝(單機模式) 二

 

Linux Hadoop2.7.3 安裝(單機模式) 一 

Linux Hadoop2.7.3 安裝(單機模式) 二

  

YARN是Hadoop 2.0中的資源管理系統，它的基本設計思想是將MRv1中的JobTracker拆分紅了兩個獨立的服務：一個全局的資源管理器ResourceManager和每一個應用程序特有的ApplicationMaster。

其中ResourceManager負責整個系統的資源管理和分配，而ApplicationMaster負責單個應用程序的管理。

建立一個words.txt 文件並上傳

vi words.txt

Hello World
Hello Tom
Hello Jack
Hello Hadoop
Bye   hadoop

將words.txt上傳到hdfs的根目錄

/home/xupanpan/hadoop/hadoop/bin/hadoop fs -put /home/xupanpan/hadoop/word.txt /

 

一、配置etc/hadoop/mapred-site.xml：

mv /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml
vim /home/xupanpan/hadoop/hadoop/etc/hadoop/mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

二、配置etc/hadoop/yarn-site.xml:

vim /home/xupanpan/hadoop/hadoop/etc/hadoop/yarn-site.xml

三、YARN的啓動

/home/xupanpan/hadoop/hadoop/sbin/start-yarn.sh

http://192.168.20.225:8088/cluster

三、YARN的中止

sbin/stop-yarn.sh

如今咱們的hdfs和yarn都運行成功了，咱們開始運行一個WordCount的MP程序來測試咱們的單機模式集羣是否能夠正常工做。

 

運行一個簡單的MP程序

咱們的MapperReduce將會跑在YARN上，結果將存在HDFS上：

用hadoop執行一個叫 hadoop-mapreduce-examples.jar 的 wordcount 方法，其中輸入參數爲 hdfs上根目錄的words.txt 文件，而輸出路徑爲 hdfs跟目錄下的out目錄，運行過程以下：

/home/xupanpan/hadoop/hadoop/bin/hadoop jar  /home/xupanpan/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar  wordcount hdfs://127.0.0.1:9000/word.txt hdfs://127.0.0.1:9000/out

說明咱們已經計算出了，單詞出現的次數。

至此，咱們Hadoop的單機模式搭建成功。

參考 http://blog.csdn.net/uq_jin/article/details/51451995