Ubuntu10.4安裝配置Hadoop-0.20.203.0入門

1.安裝Sun公司的jdk1.6 而且,JAVA_HOME環境變量已經指向jdk的安裝目錄。(詳細見   Ubuntu10.4下手動安裝SUN公司的jdk1.6[整理])
2.下載穩定版的hadoop的安裝包,解壓到/opt/目錄下
3.命令行下運行 
$ sudo gedit /etc/profile
在文件最後添加
#set Hadoop environment
export HADOOP_INSTALL=/opt/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin
設置Hadoop的安裝位置的環境變量
4.運行hadoop version 命令來測試是否成功(須要重啓)
5.配置:
   1)獨立模式:
      在此模式下,不須要特別的配置操做,只須要在/conf目錄中的hadoop-env.sh中設置java jdk的HAVA_HOME環境變量
   2)僞分佈式模式:
      自此模式下,須要配置3個配置文件(在conf/目錄下的core-site.xml  hdfs-site.xml mapred-site.xml)
       
<!--core-site.xml  -->
<configuration>
   <property>
      <name>fs.default.name</name>
      <value>hdfs://localhost/</value>
   </property>
</configuration>
<!--hdfs-site.xml -->
<configuration>
     <property>
        <name>dfs.replication</name>
        <value>1</value><!--設置副本爲1,程序就不會試圖複製的其餘的機器上,就不會產生副本沒法複製的警告-->
     </property>
</configuration>
<!--mapred-site.xml-->
<configuration>
    <property>
       <name>mapred.job.tracker</name>
       <value>localhost:8021</value>
    </property>
</configuration>


6.配置SSH
%sudo apt-get install ssh

   基於空口令建立一個新的SSH密鑰,以啓動無密碼登陸
%ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
%cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

以上命令是Hadoop實戰中的配置方法,使用了linux系統的工具,我我的強烈建議使用ssh自帶的id生成和拷貝命令,以防止錯誤的發生:
$ ssh-keygen   #而後一直回車到結束
$ ssh-copy-id -i ~/.ssh/id_rsa.pub 你的用戶名@localhost
    用如下指令測試:
%   ssh localhost

    若是成功,則無須輸入密碼。
    若出現「 Agent admitted failure to sign using the key」的錯誤提示,須要將你的私鑰加入到ssh中:
#解決方式使用 ssh-add 指令將私鑰 加進來 根據我的的密匙命名不一樣更改 id_rsa
% ssh-add  ~/.ssh/id_rsa

若是你發現什麼22端口拒絕鏈接之類的錯誤,是由於你的ssh服務沒有啓動,輸入命令:
$  sudo /etc/init.d/sshd start

來啓動ssh服務,以後照着上面作就能夠了。
7.格式化HDFS文件系統:
%hadoop namenode -format



8.啓動和終止守護進程
%start-dfs.sh
%start-mapred.sh

  本地計算機將啓動三個守護進程 一個namenode 一個輔助namenode和一個datanode
  在http://localhost:50030/查看jobtracker或在http://localhost:50070/查看namenode  java的jps命令也能夠查看守護進程是否在運行。
%stop-dfs.sh
%stop-mapred.sh
未完 待續
相關文章
相關標籤/搜索