用VMWare搭建Hadoop集羣

背景：因爲涉及到 Flink 的學習，想在本機裝個測試環境。這裏記錄下用 VMWare 搭建 hadoop 集羣的坑。

安裝 VMware

若是是重裝的狀況要注意:儘可能把 VMware 清理乾淨再安裝，不然就會出現沒法正常使用VMware的狀況。

安裝操做系統

這裏是直接用 iso 文件安裝。可參考：https://blog.csdn.net/u010780613/article/details/65439856

安裝 JDK

• 經過 http-server 將 jdk 安裝包上傳到 /root/apps/ 文件夾下面, 解壓安裝包:

wget http://192.168.XXX.X:8080/jdk.tar.gz
tar -zxvf /root/apps/jdk-8u181-linux-x64.tar.gz

• 配置環境變量，vim /etc/profile，在文件行尾加入配置後保存退出：

export JAVA_HOME=/root/apps/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin

• 從新加載profile使配置生效

source /etc/profile

• 環境變量配置完成，測試環境變量是否生效

echo $JAVA_HOME 
java -version 輸出Java信息就是配置好啦

安裝 Hadoop

• 經過 http-server 將 jdk 安裝包上傳到 /root/apps/ 文件夾下面, 解壓安裝包:

wget http://192.168.XXX.X:8080/hadoop.tar.gz
tar -zxvf /root/apps/hadoop.tar.gz

• hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、slaves、hadoop的環境變量配置可參考：http://www.javashuo.com/article/p-ocjfnsks-mq.html

Linux 配置

• 配置主節點

$vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=node1

$source /etc/sysconfig/network

• 修改/etc/hosts

192.168.70.130　　node1
192.168.70.131　　node2
192.168.70.132　　node3

• 給虛擬機配置密鑰

如下命令會生成本身的公鑰和私鑰,生成的公私鑰將自動存放在/root/.ssh目錄下。

$ ssh-keygen

把生成的公鑰copy到遠程機器上,此時在遠程主機的/root/.ssh/authorized_keys文件中保存了公鑰,在known_hosts中保存了已知主機信息，當再次訪問的時候就不須要輸入密碼了：

ssh-copy-id root@192.168.70.130

經過此命令遠程鏈接，檢驗是否能夠不需密碼鏈接:
$ ssh 192.168.70.130

• VMWare 虛擬機=》管理=》克隆出另外的兩個機器
• 在主節點機器上/root/apps/hadoop-2.7.3/sbin目錄下，執行如下命令來格式化namenode:

./hadoop namenode -format

• 啓動 Hadoop，在/root/apps/hadoop-2.7.3/sbin 目錄下啓動服務，以後打開網頁輸入192.168.70.130:50070 能夠看到 hadoop 集羣文件管理界面：

start-all.sh

• 關閉hadoop，在/root/apps/hadoop-2.7.3/sbin目錄下執行如下命令關閉服務：

$stop-all.sh

以上是搭建Hadoop集羣完成作的總結。