xshell5運行hadoop集羣

---恢復內容開始---

1.CentOS主機配置

在配置Hadoop過程當中，防火牆必須優先關閉SELinux，不然將影響後續Hadoop配置與使用，命令以下：

# 查看 「系統防火牆」 狀態命令

systemctl status firewalld.service 

# 關閉 「系統防火牆」 命令

systemctl stop firewalld.service

# 關閉 「系統防火牆」 自啓動命令

systemctl disable firewalld.service

# 關閉 「SELinux」命令

setenforce 0

# 關閉「SELinux」系統系統自啓動服務

vi /etc/selinux/config

# 修改內容

SELINUX=disabled

（1）執行圖結果以下：

（2）上圖的防火牆處於運行狀態，如今關閉防火牆，以下圖：

（3）關閉防火牆後，由於重啓服務器防火牆會自動重啓，關閉系統自啓動命令以下：

# systemctl  firewalld.service

 

 

2.設置主機名稱

（1）使用vi編譯器編譯 #vi /etc/sysconfig/network,修改其內容：

# 修改成：

NETWORKING=yes

HOSTNAME=master

（2）修改主機名，進入#vi /etc/hostname裏修改內容：

# 修改成： master

 

3.配置hosts文件

（1）編譯#vi /etc/hosts添加內容，不用去掉原先內容：

#添加內容

192.168.56.110 master

（2）192.168.56.110爲IP地址。

 

 

4.驗證配置結果

 

(1)重啓後主機爲master。

# 重啓系統命令

reboot now

（2）在終端輸入命令 #ping master -c 5查看是否成功。

 

 

5.JavaJDK環境配置

（1）上傳JDK文件，使用xftp將jdk傳到/opt目錄下，如圖：

 

（2）解壓縮JDK安裝包

 進入/opt 目錄並解 壓 縮 文 件 #tar -zxvf /opt/jdk-8u162-linux-x64.tar.gz

 

（3）移動 javaJDK 目錄至/usr/local/java 中 ，其環境變量地址與Java目錄一致

#mv /opt/jdk1.8.0_162 /usr/local/java

 

（4）配置環境變量

編輯 .bash_profile 文件 ：

#vi /root/.bash_profile

添加內容 ：

export  JAVA_HOME=/usr/local/java

export  PATH=$JAVA_HOME/bin:$PATH

 使環境變量生效：

#source /root/.bash_profile

 

（5）驗證JDK配置是否成功，使用# java -version，結果以下：

 

 

 

6.Hadoop安裝與配置

 

（1）使用xftp將Hadoop軟件包上傳至/opt下，如圖：

 

（2）解壓Hadoop

上傳完成後，解壓縮文件 #tar -zxvf /opt/hadoop-2.7.5.tar.gz

修改 hadoop-2.7.6-src 目錄名稱爲 hadoop

#mv /opt/hadoop-2.7.5 /opt/hadoo

 

（3）配置環境變量

 編輯 .bash_profile 文件： 

#vi /root/.bash_profile
 
添加內容 ：

export HADOOP_HOME=/opt/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

（4）添加完成後，輸入命令 #source /root/.bash_profile 使環境變量生效。

 

 

7.配置其文件

（1）配置core-site.xml 文件

#vi /opt/hadoop/etc/hadoop/core-site.xml

配置其內容：

在<configuration>補充區域</configuration>中間補充

補充內容，以下

<property>   

　　<name>fs.defaultFS</name>    

　　<value>hdfs://master:9000</value>

</property>

<property>    

　　<name>hadoop.tmp.dir</name>    

　　<value>/opt/hadoop/hadoopdata</value>

</property>

 

（2）配置文件系統hdfs-site.xml

#  vi /opt/hadoop/etc/hadoop/hdfs-site.xml 
 配置內容以下 ：

<property>  

　　<name>dfs.replication</name>     

　　<value>1</value>

</property>

 

（3）配置資源管理器yarn-site.xml

#vi /opt/hadoop/etc/hadoop/yarn-site.xml

補充內容：

<property>   
　　<name>yarn.nodemanager.aux-services</name>    

　　<value>mapreduce_shuffle</value>

</property>

<property> 

　　<name>yarn.resourcemanager.address</name>    

　　<value>master:18040</value>

</property>

<property>  

　　<name>yarn.resourcemanager.scheduler.address</name>    

　　<value>master:18030</value>

</property>

<property>    

　　<name>yarn.resourcemanager.resource-tracker.address</name>     

　　<value>master:18025</value>

</property>

<property>

　　<name>yarn.resourcemanager.admin.address</name>     

　　<value>master:18141</value>

</property>

<property>    

　　<name>yarn.resourcemanager.webapp.address</name>     

　　<value>master:18088</value>

</property>

 

（4）配置添加計算框架mapred-site.xml

複製文件

#cp /opt/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/etc/hadoop/mapredsite.xml

編輯文件

#vi /opt/hadoop/etc/hadoop/mapred-site.xml

配置內容

<property> 

　　<name>mapreduce.framework.name</name>    

　　<value>yarn</value>

</property>

 

（5）建立數據文件

建立文件

#mkdir /opt/hadoop/hadoopdata

格式化文件系統

#hadoop namenode -format

 

8.設置SSH網絡

（1）ssh-keygen免密登錄設置，輸入命令鍵回車三次

生成免登入密匙 #ssh-keygen -t rsa 

 

（2）爲 master 發送免登入密匙 #ssh-copy-id -i ~/.ssh/id_rsa root@192.168.56.110

注意：輸入 yes 回車 yes

輸入密碼 ，密碼爲xshell密碼。

 

（3）ssh 鏈接 master

#ssh master

（4）直接輸入 JavaJDK 物理路徑

配置文件

# vi /opt/hadoop/etc/hadoop/hadoop-env.sh     

內容爲 JAVA 路徑 ：

export JAVA_HOME=/usr/local/java

 

 

9.啓動Hadoop

（1）開啓命令 #start-all.sh

中止命令 #stop-all.sh

 

（2）驗證配置是否成功

 查看 Hadoop 進程

# jps

 

（3）計算PI，看Hadoop是否運行的起

Hadoop 運行 jar 包命令

# hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.j ar pi 10 10

 

 

10.多節點配置Hadoop

（1） 編輯文件

#vi /opt/hadoop/etc/hadoop/slaves

 內容 ：

slave1

slave2
 

（2）配置hosts主機文件

#vi /etc/hosts

添加內容

192.168.56.111 slave1

192.168.56.112 slave2

 

（3）虛擬機克隆IP地址

 

 

（4）修改克隆主機名

#slave1

NETWORKING=yes

HOSTNAME=slave1
 
#slave2

NETWORKING=yes

HOSTNAME=slave2
 
配置文件

#/etc/sysconfig/hostname

修改文件 slave1  
 
修改文件 slave2

 

（5）配置三臺機子免密登錄

ssh-copy-id -i ~/.ssh/id_rsa root@master

ssh-copy-id -i ~/.ssh/id_rsa root@slave1

ssh-copy-id -i ~/.ssh/id_rsa root@slave2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

---恢復內容結束---