Hadoop單機版和僞分佈式部署

說明：本文的hadoop安裝環境爲Ubuntu環境。

運行Hadoop集羣的準備工做

    1. 安裝JDK,配置Java環境

     2. SSH免登陸(這一步能夠忽略，可是啓動hadoop的時候，須要手動爲每一個節點服務輸入密碼)

          先確認可否不輸入口令就用SSH登陸localhost:        

$ ssh localhost

        若是沒有安裝SSH服務，則安裝SSH

$ sudo apt-get install openssh-server    -----安裝SSH

         實現SSH免登陸

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    3. 解壓所下載的Hadoop發行版。編輯 etc/hadoop/hadoop-env.sh文件，配置JAVA_HOME環境。

export JAVA_HOME=/home/mango/jdk/jdk1.8.0_45

  4.嘗試以下命令，將會顯示hadoop 腳本的使用文檔。

$ ./bin/hadoop

    如今你能夠用如下三種支持的模式中的一種啓動Hadoop集羣：

• 單機模式

• 僞分佈式模式

• 徹底分佈式模式(後續補充)

單機模式的操做方法

默認狀況下，Hadoop被配置成以非分佈式模式運行的一個獨立Java進程。這對調試很是有幫助。

下面的實例將已解壓的 conf 目錄拷貝做爲輸入，查找並顯示匹配給定正則表達式的條目。輸出寫入到指定的output目錄。    

$ mkdir input 
$ cp conf/*.xml input 
$ ./bin/hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+' 
$ cat output/*

僞分佈式模式的操做方法

      Hadoop能夠在單節點上以所謂的僞分佈式模式運行，此時每個Hadoop守護進程都做爲一個獨立的Java進程運行。

啓動HDFS服務

   1. 配置etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:8200</value>
    </property>
</configuration>

   2. 配置etc/hadoop/hdfs-site.xml（副本數爲1）

<configuration>
   <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

   3. 配置etc/hadoop/slaves文件，設置datanode爲localhost 

localhost

  4. 格式化HDFS文件系統  

$ ./bin/hadoop namenode -format

   5. 啓動hdfs服務 

$ ./sbin/start-dfs.sh

   6. 經過jps命令確認啓動成功(也能夠經過http://localhost:50070頁面確認)

$ jps
10178 SecondaryNameNode
9923 DataNode
9706 NameNode
15439 Jps

 

 啓動Yarn服務

  1.配置etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

  2. 配置etc/hadoop/mapred-yarn.xml   

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

  3. 啓動Yarn服務  

$ ./sbin/start-yarn.sh

   ４.經過ｊｐｓ命令查看結果(也能夠經過http://localhost:8088確認啓動成功)

$ jps
14849 NodeManager
10178 SecondaryNameNode
9923 DataNode
14647 ResourceManager
9706 NameNode
15439 Jps

   

說明：Hadoop守護進程的日誌寫入到 ${HADOOP_LOG_DIR} 目錄 (默認是 ${HADOOP_HOME}/logs).