hadoop在linux上單機安裝過程心得

   昨天我在個人一臺linux上安裝了一下hadoop的1.1.2版本，並簡單的使用了一下，感受hadoop就向一個linux虛擬機，能夠在上面建立文件夾、放文件，刪除文件夾、刪除文件，只是它NB的地方是能夠幫你把文件分佈式存儲在多臺子節點上，而使用者不要關心；另外，它對文件在不一樣子節點上有備份功能，因此你也不擔憂某臺子節點壞了而致使文件損壞這種狀況。由於我是開發者，因此我想裝一臺單機的hadoop練手，下面是個人安裝過程的一些步驟記錄（如下步驟我都是用root用戶操做）：

一、安裝JDK

    jdk版本最好是1.6以上，可使用執行命令java -version查看當前JAVA版本號，若是報命令不存在或版本比較低，則須要安裝一個高版本的JDK，並在/etc/profile的文件末尾，根據本機JDK實際的安裝位置加上如下幾行：

   export JAVA_HOME=/usr/java/jdk1.7.0_25
   export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre:$PATH
   export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

二、下載hadoop並解壓、移動

    上http://www.apache.org/dyn/closer.cgi/hadoop/common/能夠選擇本身想要的版本，我是用wget命令直接將hadoop下載下來：

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-1.1.2/hadoop-1.1.2.tar.gz

    --解壓文件，並將解壓的文件夾重命名爲/opt/hadoop，執行如下命令：

    tar -xvf hadoop-1.1.2.tar.gz

    mv hadoop-1.1.2 /opt/hadoop

三、修改/opt/hadoop/conf文件夾下的4個配置文件

   a) hadoop-env.sh ，在該文件的末尾根據JDK安裝目錄增長如下幾行：

       export JAVA_HOME=/usr/java/jdk1.7.0_25
       export HADOOP_HOME=/opt/hadoop
       export PATH=$PATH:/opt/hadoop/bin

   b）core-site.xml ，用如下配置替換文件內容

      <configuration>
        <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/tmp/hadoop/hadoop-${user.name}</value>
        </property>
     </configuration>

   c) hdfs-site.xml，用如下配置替換文件內容 ，由於單機，因此設置文件只要保存1份，系統默認是3份：

      <configuration>
         <property>
            <name>dfs.replication</name>
            <value>1</value>
         </property>
      </configuration>

    d) mapred-site.xml，用如下配置替換文件內容

        <configuration>
          <property>
               <name>mapred.job.tracker</name>
              <value>localhost:9001</value>
          </property>
       </configuration>

四、執行hadoop環境設置，並格式化hadoop文件系統，執行如下命令

      cd /opt/hadoop

      source conf/hadoop-env.sh

      hadoop namenode -format

五、最後一步：設置ssh免密登錄本機，執行如下命令：

      ssh-keygen -t rsa -P "" 輸入這個命令後一直回車就能夠了

      cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

     安全起見，你能夠退出linux再以root登錄進來一下，我是沒作這個步驟

六、啓動hadoop，執行如下命令：

     cd /opt/hadoop

     ./bin/start-all.sh

七、測試hadoop文件系統

     在hadoop上建立文件夾，並上傳一個文件，執行如下測試命令：

      hadoop fs -mkdir testfolder 建立文件夾

      hadoop fs -ls 列出hadoop文件列表

      hadoop fs -put /opt/hadoop/*.txt /user/root/testfolder 我把hadoop目錄下的全部txt文件上傳到hadoop的文件系統裏頭去

       hadoop fs -ls /user/root/testfolder 查看上傳的文件列表

八、hadoop還有一個web管理控制檯，能夠經過http://liunxip地址:50030/來訪問

九、個人下一篇博文將描述 hadoop的用戶權限管理，網址見：http://my.oschina.net/hetiangui/blog/143364