大數據中Hadoop集羣搭建與配置

前提環境是以前搭建的4臺Linux虛擬機，詳情參見 Linux集羣搭建 

該環境對應4臺服務器，192.168.1.60、6一、6二、63，其中60爲主機，其他爲從機

軟件版本選擇：

Java:JDK1.8.0_191(jdk-8u191-linux-x64.tar.gz)

Hadoop:Hadoop-2.9.2(hadoop-2.9.2.tar.gz)

上傳hadoop與java到服務器並查看

cd /home/ftpuser/
ls

安裝Java

解壓Java

mkdir /usr/java

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /usr/java/

配置Java環境變量

vi /etc/profile

添加Java配置

啓用配置

source /etc/profile

查看是否配置成功

java -version

配置Hadoop主體環境

修改hostname,方便認識,這裏設置爲對應IP的4臺服務器HServer60,HServer61,HServer62,HServer63，配置後重啓（reboot）生效

vi /etc/hostname

配置hosts文件，對應IP於主機名

vi /etc/hosts

解壓hadoop

mkdir /cloud
cd /home/ftpuser/
tar -zxvf hadoop-2.9.2.tar.gz -C /cloud/

一共有5個文件須要配置

hadoop-env.sh

core-site.xml

hdfs-site.xml

yarn-site.xml

yarn-env.sh

mapred-site.xml

slaves

cd /cloud/hadoop-2.9.2/etc/hadoop/

配置hadoop-env.sh

vi hadoop-env.sh

配置yarn-env.sh

vi yarn-env.sh

配置core-site.xml

vi core-site.xml

配置mapred-site.xml，先從模板複製一份配置出來，並修改

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

配置slaves,寫入從機名稱

vi slaves

剩下的2個文件hdfs-site.xml與yarn-site.xml須要區分主機NameNode與從機DataNode的配置

主機NameNode的hdfs-site.xml配置

vi hdfs-site.xml

其中blocksize能夠根據狀況自行調整，是數據塊的大小，handler.cout通常幾臺小集羣10都足夠了

主機NameNode的yarn-site.xml配置

vi yarn-site.xml

從機DataNode的hdfs-site.xml配置

vi hdfs-site.xml

其中replication爲備份數

從機DataNode的yarn-site.xml配置

vi yarn-site.xml

設置NameNode免密登陸，在主機上操做

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.61
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.62
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.1.63

能夠將配置好的東西經過scp命令複製到遠程服務器上

scp -rp /cloud/hadoop-2.9.2 root@192.168.1.62:/cloud/

整個Hadoop集羣配置完畢，能夠啓動試試看，這裏換到我已經搭建好的4臺服務器，50、5一、5二、53

啓動命令在hadoop目錄的sbin文件夾中，也能夠在/etc/profile文件中配置環境變量，相似java配置，將該目錄加入path路徑

啓動hadoop集羣,經過jps查看是否啓動了

start-all.sh

主機jps上會有NameNode，ResourceManager，SecondaryNameNode

從機jps上會有NodeManager，DataNode

這樣就成功的啓動了，訪問主機IP:50070的URL訪問