Hadoop2.0僞分佈式平臺環境搭建

1、搭建環境的前提條件

　　環境：ubuntu-16.04

　　　　　hadoop-2.6.0

 　　　　  jdk1.8.0_161。這裏的環境不必定須要和我同樣，基本版本差很少都ok的，所需安裝包和壓縮包自行下載便可。

　　由於這裏是配置Hadoop的教程，配置Java以及安裝VMware Tools就自行百度解決哈，這裏就不寫了（由於教程有點長，可能有些地方有些錯誤，歡迎留言評論，我會在第一時間修改的）。

2、搭建的詳細步驟

　1.配置免密碼登錄ssh

　　　先判斷是否安裝ssh，輸入命令：ssh localhost，若提示輸入密碼，即已經安裝。若是沒有安裝，輸入命令：sudo apt-get install openssh-server 安裝

　　　　

　　　修改ssh配置文件：
　　　輸入命令：vim /etc/ssh/ssh_config 將其中的 Port 22 字段和 PermitLocalCommand no 字段前面的 '#’刪除，而且，將 PermitLocalCommand 後面的 no 改成 yes

　　　　

　　　修改事後截圖：

　　　　　

　　　查看在根目錄下是否存在.ssh文件夾：
　　　輸入命令：cd
　　　　　　　　ls -a

 　　　　　　　　

　　　若沒有則在根目錄下建立.ssh文件夾，輸入命令：mkdir .ssh
　　　產生密鑰，輸入命令：cd /root/.ssh
　　　　　　　　　　　　　ssh-keygen -t rsa

　　　　　　

　　　將生成的公鑰追加到受權的key中去
　　　輸入命令：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
　　　驗證安裝是否成功，輸入命令：ssh –version
　　　　　　　　　　　　　　　　　ssh localhost 提示不須要輸入密碼則安裝成功。

　　　　

　2. 配置Hadoop

　　　　將下載好的Hadoop壓縮包文件拖進Linux下，爲了後續的學習的過程，最好單首創建一個文件夾存放這些文件。我這裏使用命令：mkdir /home/xiaow/hadoop2.0建立了一個名爲hadoop2.0的文件夾，再將hadoop2.6.0壓縮包拖進裏面並解壓。

　　　　

　　　配置環境變量，輸入命令：cd /etc
　　　　　　　　　　　　　　　vim profile

　　　在末尾追加：export HADOOP_HOME=/home/xiaow/hadoop2.0/hadoop-2.6.0

　　　　　　　　　export PATH=$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$PATH

　　　注意：這裏的路徑爲本身解壓後的路徑，每一個人的路徑不相同。

　　　　

　　　配置完環境變量後，須要系統配置一下環境變量，以便生效。
　　　輸入命令：source /etc/profile

　　　　　

　3. 修改Hadoop配置文件

　　　　須要修改的 hadoop 的配置文件有 5 個，即 core-site.xml、hdfs-site.xml、yarn-site.xml、 slaves、hadoop-env.sh 五個文件。這5個文件的位置爲：

　　　　

　　　　

　　　　

　　(1).  配置core-site.xml文件

<property>  
    　　<name>hadoop.tmp.dir</name>  
    　　<value>/home/tmp </value> 設置臨時文件夾，只要在 home 下便可 </property> 
<property>  
    　　<name>fs.defaultFS</name>  
    　　<value>hdfs://localhost:9000</value>  也能夠改成本機 IP 地址 
</property>

　　　　

　　(2). 配置hdfs-site.xml文件

<property>  
    　　<name>dfs.replication</name>  
    　　<value>1</value>   備份數目，單節點上是 1，多節點通常爲 3 
</property> 
<property>  
    　　<name>dfs.namenode.name.dir</name>  
    　　<value>/home/xiaow/hadoop/dfs/name</value> NameNode 所在路徑 
</property> 
<property>  
    　　<name>dfs.datanode.data.dir</name>  
    　　<value>/home/xiaow/hadoop/dfs/data</value> dataNode 所在路徑 
</property> 
<property>  
    　　<name>dfs.permissions</name>  
    　　<value>false</value>    HDFS 的權限，默認就行 
</property>

　　　　

　　(3). 配置yarn-site.xml文件

<property>
　　　　<name>mapreduce.framework.name</name>  
　　　　<value>yarn</value> 
</property> 
<property>  
　　　　<name>yarn.nodemanager.aux-services</name>              
　　　　<value>mapreduce_shuffle</value> 
</property> 

　　

　　　　

 　　(4). 配置slaves文件

　　　　默認就好，不用修改

　　　　

　　(5). 配置hadoop-env.sh

　　　　

　　　　將裏面的 JAVA_HOME=${JAVA_HOME}修改成本身安裝的jdk地址

　　　　

　　　　至此hadoop配置文件的修改，已經所有完成。

3、啓動Hadoop

　　輸入命令：

cd /home/xiaow/hadoop2.0/hadoop-2.6.0  
bin/hadoop namenode –format
sbin/start-all.sh
jps

　　

　　

　　

　　出現以下圖所示6個Java進程，則Hadoop僞分佈式成功搭建。

　　

4、補充說明

　一、若是出現下面這種狀況

　　　　　

　　　　輸入命令：source /etc/profile 便可解決

　二、出現進程不夠的狀況（通常是少一個datanode進程）

　　　　應先輸入 sbin/stop-all.sh 中止 hadoop全部進程

　　　解決辦法可能有如下兩種：

　　　　　　1. 再仔細檢查剛纔配置文件是否出現錯誤。通常本身檢查不出錯誤，可叫同窗幫忙檢查一下,必須仔細比對。 再依次使用這三個命令啓動Hadoop：

　　　　　　　　

　　　　　　2.多是臨時文件夾沒刪掉。

　　　　　　　　　　

　　　　　　　　　　　　

　　　　　　　找到上圖箭頭所指示的文件夾並刪掉，在從新啓動hadoop，如此問題解決。