WMware 中CentOS系統Hadoop 分佈式環境搭建（一）——Hadoop安裝環境準備

1.建立3臺虛擬機並裝好系統，這裏使用64位CentOS.

2.Ping測試[確保兩兩能ping通]: [ping xxx.xxx.xxx.xxx]

3.安裝SSH:[yum install ssh rsync]

4.按下圖重命名主機、修改host文件:

master：

slave1:

slave2:

具體虛擬機的IP地址根據實際狀況配置。

5.重啓每臺機器，檢查ip和host配置是否正常，而後使用主機名來進行ping測試：

6.建立hadoop的用戶和用戶組[每臺機器上執行]

sudo groupadd Hadoop

sudo useradd -s /bin/bash -d /home/hadooper -m hadooper -g hadoop -G root

passwd hadooper  [密碼設置成和用戶名相同便於記憶]

7.SSH無驗證雙向登錄配置

如master上的執行截圖：

上述操做生成一對密鑰[ssh-keygen -t rsa -P '']，並將公鑰保存至文件[cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys] 

受權[chmod 600 ~/.ssh/authorized_keys]。

切換至root用戶[su root]

取消被註釋的公鑰字段[vi /etc/ssh/sshd_config]：

文件打開後以下：

將紅圈中的三行代碼前面的#號去掉，以下：

保存並退出[按Esc後輸入  :wq!   命令]

切換到root用戶，重啓一下SSHD服務：service sshd restart

至此SSH配置完畢，下面能夠嘗試自身無驗證的SSH登錄（注意切換到hadooper用戶）：

能夠看到不管是使用localhost仍是IP或者主機名master都是能夠無驗證登錄的。首次登錄會提示主機沒法識別，後面再次使用ssh登錄就不會有提示了（其實能夠看到已經在/home/hadooper/.ssh/下生成了一個known_hosts文件）。

一樣在slave1和slave2上作相似的配置和驗證。

8.接下來開始配置不一樣主機間的無驗證SSH登陸：

將master的公鑰文件複製到slave1節點的hadooper用戶上:[scp ~/.ssh/id_rsa.pub hadooper@192.168.42.133:~/]

拷貝完成以後，去Slave1機上進行，公鑰追加受權文件，並賦權限：

而後切換root用戶，進行sshd配置，並重啓ssh服務：

（即：切換用戶、編輯sshd_config文件vi /etc/ssh/sshd_config 重啓SSHD服務）

至此，salve1配置完畢，能夠去master上無驗證ssh登錄salve1了

在master上測試無驗證SSH登錄slave1（注意切換到hadooper用戶）

重複步驟8，完成master到slave2的無驗證SSH登錄。

即：

在master上scp傳送id_rsa.pub到132機器[scp ~/.ssh/id_rsa.pub hadooper@192.168.42.132:~/]

去Slave2機上進行，公鑰追加受權文件，並賦權限

切換root用戶，進行sshd配置，並重啓ssh服務。

作完後驗證一下master是否能夠無驗證SSH登錄slave2.

9.接下來反過來，讓salve1和slave2能夠無驗證登錄master

須要分別將slave1的公鑰和slave2的公鑰scp傳輸到master，在master上導入，重啓sshd服務便可。

去slave1，傳輸公鑰文件到master的/home/hadooper/目錄（即hadooper登錄後的~目錄）

去master導入這個公鑰：

（即在master上追加salve1的公鑰到受權文件authorized_keys中，重啓SSHD服務（注意使用root用戶不然權限不足，囧））

測試一下，slave1能夠無驗證SSH登錄到master：（注意切換到hadooper用戶）

驗證成功，下面差最後一步，slave2到master的無驗證SSH登錄。

因爲已經將salve1的公鑰id_rsa.pub文件放在了master的/home/hadooper/下面（即hadooper用戶的~目錄），接下來要把slave2的id_rsa.pub放到這個位置，因此先刪掉slave1的這個文件（在master上，切換到hadooper用戶，執行 rm /home/hadooper/id_rsa.pub 便可）

去slave2傳輸公鑰到master，而後在master上執行導入操做並重啓sshd服務便可。方法同步驟12。

10.最後作一次「整體驗證」便可：

master上自身無驗證SSH登錄、master到slave一、master到slave2：

slave1上自身無驗證SSH登錄+slave1到master：

slave2上自身無驗證SSH登錄+slave2到master：

 

 

至此，安裝Hadoop框架的基礎環境配置完畢，後面記錄安裝Hadoop過程。