Hadoop、Spark 集羣環境搭建問題彙總

Hadoop

問題1：

　　Hadoop Slave節點 NodeManager 沒法啓動

解決方法：

　　yarn-site.xml 

　　reducer取數據的方式是mapreduce_shuffle

　　

 

問題2：

　　啓動hadoop，報錯Error JAVA_HOME is not set and could not be found

解決方法：

　　由於JAVA_HOME環境沒配置正確，還有一種狀況是即便各結點都正確地配置了JAVA_HOME，但在集羣環境下仍是報該錯誤。

　　解決方法是 在 hadoop-env.sh中 顯示地從新聲明一遍JAVA_HOME。

 

問題3：

　　hadoop 執行start-dfs.sh後，datenode沒有啓動

解決方法：

　　上網查了下，有些文章說的解決辦法是刪掉數據文件，格式化，重啓集羣，但這辦法實在太暴力，根本沒法在生產環境實施，因此仍是參考另外一類文章的解決辦法，修改clusterID：
　　step1：
　　　　查看hdfs-site.xml，找到存namenode元數據和datanode元數據的路徑：
　　step2：
　　　　打開namenode路徑下的current/VERSION文件

　　　　打開datanode路徑下的current/VERSION文件

　　step3：

　　　　將data節點的 clusterID 修改爲和 name 節點的 clusterID 一致，重啓集羣便可。

 

Spark

問題1：

　　Spark 集羣啓動後，Slave節點 Worker 進程一段時間後自動結束

解決方法：

　　修改各節點  /etc/hostname 文件中的主機名:

　　

　　與 /etc/sysconfig/network 中的主機名保持一致。

　　

　　重啓機器。

 

問題2：

　　Spark只啓動了Master，Worker沒啓動

解決方法：

　　各節點 /home/hadoop/spark-2.2.1/conf/ spark-env.sh 中的 SPARK_LOCAL_IP 改成該節點本身的 IP。

 　　

 

問題3：

　　Spark集羣啓動後，Slave節點上有Worker進程，但打開webui，Workers列表卻只顯示有Master節點

　　

解決方法：

　　關閉機器的防火牆

　　CentOS 7 默認採用新防火牆firewall，再也不用iptables（service iptables status 查看防火牆狀態 ，chkconfig iptables off 關閉防火牆）

systemctl stop firewalld.service 　　　 #中止firewall

systemctl disable firewalld.service 　　#禁止firewall開機啓動

firewall-cmd --state　　　　　　　　   #查看默認防火牆狀態（關閉後顯示notrunning，開啓後顯示running）

　　

問題4：

　　Spark shell退出操做以及出現問題的解決方法

解決方法：

　　退出的正確操做是：

:quit