Hadoop4 利用VMware搭建本身的hadoop集羣

前言:

      前段時間本身學習如何部署僞分佈式模式的hadoop環境，以前因爲工做比較忙，學習的進度停滯了一段時間，因此今天抽出時間把最近學習的成果和你們分享一下。

      本文要介紹的是如何利用VMware搭建本身的hadoop的集羣。若是你們想了解僞分佈式的你們以及eclipse中的hadoop編程，能夠參考我以前的三篇文章。

　　1.在Linux環境中僞分佈式部署hadoop(SSH免登錄)，運行WordCount實例成功。 http://www.cnblogs.com/PurpleDream/p/4009070.html 

      2.本身打包hadoop在eclipse中的插件。  http://www.cnblogs.com/PurpleDream/p/4014751.html 

      3.在eclipse中訪問hadoop運行WordCount成功。 http://www.cnblogs.com/PurpleDream/p/4021191.html 

 

===============================================================長長的分割線====================================================================

正文:

　　在以前的hadoop文章中，我主要是介紹了本身初次學習hadoop的過程當中是如何將hadoop僞分佈式模式部署到linux環境中的，如何本身編譯一個hadoop的eclipse插件，以及如何在eclipse中搭建hadoop編程環境。若是你們有須要的話，能夠點擊我在前言中列出的前前三篇文章的連接。

      閒話少說，言歸正傳，本次的目的是利用VMware搭建一個屬於本身的hadoop集羣。本次咱們選擇的是VMware10，具體的安裝步驟你們能夠到網上搜索，資源不少。

      若是你們再安裝過程當中，遇到了我沒有提到的錯誤，能夠先參考文章底部列出的三個問題，看看解決方案是否是在其中，若是不在的話，再自行上網搜索。

      第一步，肯定目標:

      master  192.168.224.100  CentOS

      slave1   192.168.224.201  CentOS

      slave2   192.168.224.202 CentOS

      其中master爲nameNode和jobTracker節點，slave1和slave2爲dataNode和taskTracker節點。

 

      第二步，配置虛擬網絡，在VMware工具欄中點擊「編輯」，而後選擇「虛擬網絡編輯器」，在彈出框中設置選項；而後點擊「NAT設置」，也按照圖片設置，詳細參照以下圖:

       

      

     

      第三步，確認VMware服務都已經啓動，這個很重要，否則對你後邊的操做頗有影響的，以下圖：

          

 

      第四步，在VMware中創建一個CentOS6.5虛擬機，詳情能夠參考個人另外一篇文章:http://www.cnblogs.com/PurpleDream/p/4263465.html

 

      第五步，通過第四步咱們的第一個master虛擬機已經創建好了，下面針對這臺虛擬機，進行網絡、主機等配置，詳細步驟以下:

      (1).關掉SELINUX：vi /etc/selinux/config ，設置SELINUX=disabled，保存退出，以下圖:

       

 

      (2).關閉防火牆：/sbin/service iptables stop;chkconfig --level 35 iptables off ;執行完畢後，調用 service iptables status，查看防火牆的狀態，以下圖:

       

      (3).修改IP地址爲靜態地址：vi /etc/sysconfig/network-scripts/ifcfg-eth0，將其內容改成以下圖所示，注意HWADDR那一行，你所建立的虛擬機的值極可能與之不一樣， 保持原值，不要修改它。

       

      (4).修改主機名稱： vi /etc/sysconfig/network，以下圖:

         

      (5).修改hosts映射：vi /etc/hosts，這裏咱們也將slave1和slave2的主機ip映射關係添加上，方便後邊使用，以下圖:

         

      (6).執行service network restart，從新啓動網絡，這一步是必須的，請注意。

  

      第七步，安裝putty工具，能夠在百度上直接搜索，下載解壓到本身的目錄便可，咱們會用到目錄中的pscp.exe。

      

      第八步，安裝JDK，詳細步驟以下:

      (1).我從網上下載的是jdk-6u45-linux-i586.bin，放到了個人以下目錄是D:\SettingUp\ITSettingUp\Java\JDK\JDK1.6(linux32),注意此目錄你們能夠根據本身的情     況自行選擇，這裏我把本身的目錄粘出來，是爲了後邊方便說明pscp的上傳。

      (2).打開cmd，定位到putty的解壓目錄，調用以下命令，若是提示輸入密碼，就輸入虛擬機中root賬戶的密碼。對於下邊的命令，咱們使用的是pscp命令，兩個參數:第一個參數是本地的jdk路徑，後邊的參數是咱們的虛擬機路徑，這裏我提早在虛擬機上創建了兩個父子文件夾:/myself_settings/jdk1.6

      pscp D:\SettingUp\ITSettingUp\Java\JDK\JDK1.6(linux32)\jdk-6u45-linux-i586.bin root@192.168.224.100:/myself_settings/jdk1.6

      (3).進入虛擬機jdk的所在目錄/myself_settings/jdk1.6，執行命令： ./jdk-6u45-linux-i586.bin，等待安裝完成。

      (4).修改環境變量：vi ~/.bash_profile，在最後添加，以下圖所示:

       

      (5).輸入命令 source ~/.bash_profile 使配置生效，以後能夠執行 java -version 判斷jdk是否已經配置成功

      

      第九步，安裝hadoop，詳細步驟以下:

      (1).下載hadoop，我從網上下載的是hadoop-1.0.1.tar.gz。放在了個人本機：D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0

      (2).打開cmd，定位到putty的解壓目錄，調用以下命令，若是提示輸入密碼，就輸入虛擬機中root賬戶的密碼。

      pscp D:\SettingUp\ITSettingUp\Hadoop\hadoop-1.0\hadoop-1.0.1.tar.gz root@192.168.224.100:/myself_settings/hadoop1.0

      (3).進入虛擬機hadoop所在的目錄/myself_settings/hadoop1.0，調用命令: tar -xzvf hadoop-1.0.1.tar.gz  將文件解壓縮。

      (4).進入(3)中解壓縮後的目錄後，進入到conf文件夾中進行配置，使用命令: vi hadoop-env.sh ,將JAVA_HOME一行的註釋去掉，並改成以下設置:

       

      (5).添加環境變量 vi ~/.bash_profile ，以下圖:

       

      (6).打開conf文件: vi core-site.xml， 進行編輯，以下圖:

       

      (7).打開conf文件: vi hdfs-site.xml， 進行編輯，以下圖:

       

      (8).打開conf文件: vi mapred-site.xml， 進行編輯，以下圖:

       

      (9).打開conf文件: vi masters， 進行編輯，以下圖:

       

      (10).打開conf文件: vi slaves， 進行編輯，以下圖:

       

          

      第十步，通過上述步驟，第一個虛擬機已經配置完畢了，下邊咱們要克隆兩個虛擬機出來，做爲slave1和slave2，詳細步驟以下:

      (1).在VMware左側的虛擬機列表中選中第一個虛擬機，右鍵選擇「管理」，在「管理」的面板中選擇「克隆」，依次選擇「下一步  ===》  虛擬機中的當前狀態，下一步 ===》 建立完整克隆，下一步 ===》 設置虛擬機名稱和安裝目錄 ===》 點擊完成」，而後分別在這兩個虛擬機繼續作以下操做。

      (2).執行：rm -f /etc/udev/rules.d/70-persistent-net.rules

      (3).執行 reboot 重啓虛擬機

      (4).執行 vi /etc/sysconfig/networking/devices/ifcfg-eth0 將其中的 HWADDR修改成新虛擬機的網卡地址，具體查看虛擬機網卡地址的方式爲: 選中虛擬機，郵件選擇「設置」，在彈出的面板中按照下圖所示進行設置，以下圖:

       

      (5).一樣將(4)文件中將IPADDR改成192.168.224.201(對於slave1)或192.168.224.202(對於slave2)。

      (6).修改slave1和slave2的/etc/sysconfig/network文件，將主機名改成slave1或者slave2

      (7).兩臺虛擬機執行 service network restart 重啓網絡

    

      第十一步，通過上述步驟，三臺虛擬機已經基本配置完畢，可是還有一個重要的步驟，那就是ssh免登錄的配置，這塊我當時出了問題，因此這裏再詳細的說明一下:

      備註:因爲我第一次搭建的時候這裏出了問題，因此此處當時沒有來得及作記錄，如今爲了演示，我從新搭建了兩個虛擬機，分別是TestOne和TestTwo，我這裏要作的就是從TestOne免登錄到TestTwo。你們以此類推，與咱們這個文章中要作的master免登錄 到slave1和slave2是同樣的。

      (1).首先在TestOne虛擬機中，經過 cd ~/.ssh 進入~/.ssh目錄，會看到有一個known_hosts文件，

      (2).在~/.ssh文件夾中，輸入 ssh-keygen -t dsa ，而後會讓你輸入密鑰存儲文件的名稱，我輸入的是id_dsa。前邊這兩部能夠參考下邊的圖片，注意圖片中用紅色矩形框圈中的部分:

       

      (3).在~/.ssh文件夾中輸入 cat id_dsa.pub >> authorized_keys，以下圖所示:

       

      (4).在~/.ssh文件夾中，將剛纔生成的密鑰拷貝到TestTwo機器上，輸入命令: scp authorized_keys TestTwo:~/.ssh ，過程當中須要輸入TestTwo的密碼，詳細參考下圖，注意圖中用紅色矩形框圈中的部分:

        

      (5).通過上述4步，輸入 ssh TestTwo，應該不須要再輸入TestTwo的登陸密碼，就能夠從TestOne直接登陸到TestTwo了。

   

      第十二步，至此，虛擬機的配置所有完畢，咱們依次執行hadoop namenode -format 、 hadoop datanode -format ，而後在hadoop的安裝目錄下，進入bin目錄，執行以下命令： ./start-all.sh .  而後能夠在宿主機中打開瀏覽器，查看 192.168.224.100:50070 的內容，若是正常顯示，就說明啓動正常了。注意，這裏也能夠分別在master和slaves輸入jps命令驗證是否啓動成功，以下圖:

      

      

 

      通過上邊的十二步，我相信屬於你本身的hadoop集羣已經你們成功了，後邊你能夠參考我文章開頭列出的文章，在eclipse中添加本身的DFS Location，指向咱們的集羣。在上述這個過程當中，你有可能遇到一些問題，能夠參考下邊我列出的文章:

      1.在eclipse中訪問hadoop集羣時出現 org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE 這個錯誤，參考以下:

         解決方案:http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html

      2.啓動hadoop時有這樣的提示  Warning: $HADOOP_HOME is deprecated.  這個不會影響使用，若是想解決的話，參考以下:

         解決方案:http://chenzhou123520.iteye.com/blog/1826002

      3. 若是在設置完網絡，調用service network restart時，出現Device eth0 does not seem to be present這個問題，參考以下：

         解決方案:從新打開vi /etc/sysconfig/network-scripts/ifcfg-eth0，將其中的DEVICE的值改成eth1或者別的，而後重啓網絡，應該就不會報錯了。