Hadoop一主一從部署（2）

Hadoop部署一主一從（2）

---

1.關閉防火牆和Linux守護進程
執行命令:

iptables -F
setenforce 0

2.對Hadoop集羣進行初始化，在namenode（主機）上執行命令
hdfs namenode -format

3.啓動Hadoop，在namenode（主機）上執行以下命令
start-all.sh

4.主機和從機執行命令jps,檢查集羣是否正常啓動，結果如圖
主機：

從機：

5.對Hadoop進行一些簡單的操做處理：
在hdfs上建立一個bigdata目錄，並向目錄中上傳一個wordcount_test文件

hadoop fs -mkdir /bigdata
hadoop fs -put /root/wordcount_test /bigdata

6.利用Hadoop的shell接口執行Wordcount

hadoop jar /root/hadoop-2.8.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount /bigdata/wordcount_test /output

備註：1 /output這個文件輸出目錄必定不能提早建立，不然會報錯
2 執行wordcount要分配足夠內存，否則會卡死（我分配了4G），這個在yarn-site.xml這個文件中配置,不然會卡死，以下所示:

<property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
  </property>

7.查看是否執行成功
執行命令hadoop fs -ls /output

8.查看執行結果
執行命令hadoop fs -cat /output/part-r-00000

至此，Hadoop搭建已所有完成，並且利用Hadoop完成了一個簡單的Wordcount小程序。

總結：

防火牆必定要提早關閉，否則向hdfs上傳文件會報錯。 必定要分配足夠的內存，不然執行MapReduce會卡死。