Hadoop 集羣安裝（主節點安裝）

一、下載安裝包及測試文檔
切換目錄到/tmp

view plain copy
cd /tmp
下載Hadoop安裝包

view plain copy
wget http://192.168.1.100:60000/hadoop-2.6.0-cdh5.4.5.tar.gz
下載JDK安裝包

view plain copy
wget http://192.168.1.100:60000/jdk-7u75-linux-x64.tar.gz
下載實驗測試數據

view plain copy
wget http://192.168.1.100:60000/word.txt
二、安裝Java JDK
這裏安裝的版本是jdk-7u75-linux-x64.tar.gz；

當前是普通用戶，超級管理員才能對/opt目錄進行操做，全部要使用sudo命令獲取獲取特權才能成功解壓； 命令將其解壓到/opt目錄下：

view plain copy
sudo tar -zxvf /tmp/jdk-7u75-linux-x64.tar.gz -C /opt/
並將解壓後的文件夾jdk-7u75-linux-x64更名爲java：

view plain copy
sudo mv /opt/jdk1.7.0_75 /opt/java
修改java目錄的所屬用戶和所屬組：

view plain copy
sudo chown -R zhangyu.zhangyu /opt/java
jdk安裝完配置環境變量，編輯/etc/profile：

view plain copy
sudo vim /etc/profile
在文檔末端添加以下內容：

view plain copy
export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH
刷新環境變量：

view plain copy
source /etc/profile
刷新環境變量後，能夠經過java的家目錄找到java可以使用的命令。 利用java查看版本號命令驗證是否安裝成功：

view plain copy
java -version
正常結果顯示以下：

三、Hadoop安裝
這裏安裝的版本是hadoop-2.6.0-cdh5.4.5.tar.gz；命令將其解壓到/opt目錄下：

view plain copy
sudo tar -zxvf /tmp/hadoop-2.6.0-cdh5.4.5.tar.gz -C /opt/
並將解壓後的文件夾hadoop-2.6.0-cdh5.4.5更名爲hadoop：

view plain copy
sudo mv /opt/hadoop-2.6.0-cdh5.4.5 /opt/hadoop
修改hadoop目錄的所屬用戶和所屬組：

view plain copy
sudo chown -R zhangyu.zhangyu /opt/hadoop
jdk安裝完配置環境變量，編輯/etc/profile：

view plain copy
sudo vim /etc/profile
末端添加以下內容：

view plain copy
export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH
刷新環境變量：

view plain copy
source /etc/profile
利用hadoop查看版本號命令驗證是否安裝成功：

view plain copy
hadoop version
正常結果顯示以下：

四、修改hosts文件
獲取網卡信息得命令有：ifconfig 和 ip a ；使用獲取網卡信息得命令，查看到當前節點的IP地址；編輯/etc/hosts文件：

view plain copy
sudo vim /etc/hosts
添加本機IP地址對應本機映射名和其它節點IP地址對應映射名：

view plain copy
0.0.0.0 master
0.0.0.0 slave1
0.0.0.0 slave2
節點IP地址即」內網管理地址「

配置完hosts文件，能夠經過映射名訪問對應的IP地址；

五、建立數據文件夾
view plain copy
sudo mkdir /data
全部者修改成當前用戶：

view plain copy
sudo chown -R zhangyu.zhangyu /data
六、修改hadoop hadoop-env.sh文件配置
view plain copy
vim /opt/hadoop/etc/hadoop/hadoop-env.sh
將JAVA_HOME修改爲java所在目錄：

view plain copy
export JAVA_HOME=/opt/java/
七、修改hadoop core-site.xml文件配置
編輯core-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/core-site.xml
替換爲下面的xml文本：

view plain copy




hadoop.tmp.dir
/data/tmp/hadoop/tmp


fs.defaultFS
hdfs://master:9000/
NameNode URI


這裏有兩項配置：

一項是hadoop.tmp.dir，配置hadoop處理過程當中，臨時文件的存儲位置。這裏的目錄/data/須要提早建立。 另外一項是fs.defaultFS，配置hadoop HDFS文件系統的地址。

八、修改hadoop hdfs-site.xml文件配置
編輯hdfs-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/hdfs-site.xml
替換爲下面的xml文本：

view plain copy




dfs.namenode.name.dir
/data/tmp/hadoop/hdfs/name


dfs.datanode.data.dir
/data/tmp/hadoop/hdfs/data


dfs.replication
1


dfs.permissions
false


配置項說明：

dfs.namenode.name.dir，配置元數據信息存儲位置； dfs.datanode.data.dir，配置具體數據存儲位置； dfs.replication，配置每一個數據庫備份數，因爲目前咱們使用1臺節點，因此，設置爲1，若是設置爲2的話，運行會報錯。

九、修改hadoop yarn-site.xml文件配置
編輯yarn-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/yarn-site.xml
替換爲下面的xml文本：

view plain copy




yarn.nodemanager.aux-services
mapreduce_shuffle


這裏的配置是指定所用服務。

十、修改hadoop mapred-site.xml文件配置
建立mapred-site.xml文件：

view plain copy
vim /opt/hadoop/etc/hadoop/mapred-site.xml
輸入爲下面的xml文本：

view plain copy




mapreduce.framework.name
yarn


這裏指定mapreduce任務處理所使用的框架。

十一、修改hadoop slaves文件配置
view plain copy
vim /opt/hadoop/etc/hadoop/slaves
覆蓋寫入主節點映射名和從節點映射名：

view plain copy
master
slave1
slave2
十二、建立公鑰
在zhangyu用戶下建立公鑰：

view plain copy
ssh-keygen
出現以下內容：

Enter file in which to save the key (/home/zhangyu/.ssh/id_rsa):

直接使用默認選項，回車便可，出現以下內容：

Enter passphrase (empty for no passphrase):

直接回車，出現內容：

Enter same passphrase again:

直接回車，建立完成，結果內容以下：

1三、拷貝公鑰，過程當中須要輸入zhangyu用戶的密碼
view plain copy
ssh-copy-id master
view plain copy
ssh-copy-id slave1
view plain copy
ssh-copy-id slave2
提示：命令執行過程當中須要輸入「yes」和密碼「zhangyu」。三臺節點請依次執行完成。

測試鏈接是否正常：

view plain copy
ssh master
輸入exit退出測試：

view plain copy
ssh slave1
輸入exit退出測試：

view plain copy
ssh slave2
輸入exit退出測試：

測試中能夠看出，鏈接各節點時，無需輸入密碼，由於已經設置好受權祕鑰。

1四、拷貝文件到全部從節點
view plain copy
scp -r /opt/java/ /opt/hadoop/ slave1:/tmp/
view plain copy
scp -r /opt/java/ /opt/hadoop/ slave2:/tmp/
至此，主節點配置完成。

如下內容在全部從節點配置完成以後繼續進行!
1五、格式化分佈式文件系統
在hadoop主節點執行：

view plain copy
/opt/hadoop/bin/hadoop namenode -format
1六、啓動Hadoop
在hadoop主節點執行：

view plain copy
/opt/hadoop/sbin/start-all.sh
執行過程當中須要輸入「yes」，容許利用公鑰鏈接其它機器。

1七、查看Hadoop進程
在hadoop主節點執行：

view plain copy
jps
輸出結果必須包含6個進程，結果以下：

在hadoop從節點執行一樣的操做：

view plain copy
jps
輸出結果必須包含3個進程，具體以下：

1八、在命令行中輸入如下代碼，打開Hadoop WebUI管理界面：
view plain copy
firefox http://master:50070
1九、測試HDFS集羣以及MapReduce任務程序
利用Hadoop自帶的WordCount示例程序進行檢查集羣；在主節點進行以下操做，建立HDFS目錄：

view plain copy
hadoop fs -mkdir /zhangyu/
view plain copy
hadoop fs -mkdir /zhangyu/input
將測試文件上傳到到Hadoop HDFS集羣目錄：

view plain copy
hadoop fs -put /tmp/word.txt /zhangyu/input
執行wordcount程序：

view plain copy
cd /opt/hadoop/share/hadoop/mapreduce/
view plain copy
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /zhangyu/input/ /zhangyu/out/
查看執行結果：

view plain copy
hadoop fs -ls /zhangyu/out/

若是列表中結果包含」_SUCCESS「文件，代碼集羣運行成功。

查看具體的執行結果，能夠用以下命令：

view plain copy hadoop fs -text /zhangyu/out/part-r-00000 到此，集羣安裝完成。