hadoop入門-centos7.2安裝hadoop2.8

1. 安裝準備

　　（1）必須安裝jdk：

　　　　由於hadoop是基於Java實現的，全部必須安裝jdk

　　　　是JDK不是jre

　　　　

　　　　jdk1.7

　　　　jdk1.8

　　（2）系統位數

　　　　

　　　　

　　（3）建立專用用戶

　　　　useradd hadoop

　　　　passwd hadoop　　

　　　　爲hadoop用戶授予將要使用的文件夾權限

　　　　使用的文件夾有安裝文件夾、數據存放文件夾（能夠自定義）。

　　　　ps：lz放在了home/hadoop文件夾

2. hadoop下載

　　

　　推薦下載二進制（binary）不須要本身編譯。hadoop2.8.4大約230M

　　

 　　ps：Linux下直接運行下載：wget http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.4/hadoop-2.8.4.tar.gz

　　　　　

　　解壓

　　　　tar xzf hadoop-2.8.4.tar.gz 

　　hadoop目錄幾個以下

　　　　

　　　　先記住這三個文件便可

　3. hadoop配置

　　3.1添加hadoop環境

　　　　在hadoop用戶下配置hadoop環境（只對hadoop用戶有效）

　　　　

　　　　

　　　　在hadoop的環境變量配置文件中添加下面代碼

　　　　

　　　　　　　　

　　　　　　

 　　　　ps：最後一行PATH=...原本就有的，只要用冒號（英文）分割，加入新加入的環境變量名稱便可。（相似win中path，使用分號分隔的狀況）

　　　　從新加載環境變量配置文件

　　　　

　　　　測試是否成功：

　　　　　　hadoop version

　　　　　　

 

　　　　3.2 配置hadoop-env.sh

　　　　　位置：在hadoop/etc/hadoop下

　　　　　　

　　　　　　

　　　　　　加入Java的路徑

　　　　　　

 

　　　　　　ps：建議使用決路徑，不推薦使用${JAVA_HOME}，lz使用這種hadoop找不到JAVA_HOME 。（多是個別緣由）

　　　　　　3.3 配置core-site.xml文件

 

　　　　　　寫入下列內容

　　　　　　

　　　　　　ps：hadoop用戶必要有臨時目錄讀寫權限，最好全部者是hadoop

　　　　　　ps：確保端口被佔用

 

　　　　　　3.4 配置hdfs-site,xml

　　　　　　

 

　　　　　　

　　　　　　寫入冗餘份數，默認3份。

 　　3.5 配置mapred-site.xml

　　　　使用mapred-site.xml.template模板複製獲得mapred-site.xml

　　　　

　　　　　　進行配置

　　　　　　

 

 　　3.6配置yarn-site.xml

　　　　

 

4啓動hadoop

　　4.1.格式化

　　

 　　

　　　　　　失敗緣由分析：

　　　　　　　　權限問題

　　　　　　　　Java環境變量

　　　4.2 啓動hdfs

　　　　　須要入三次密碼hadoop帳戶密碼

　　　　　　

 

　　　　　　

　　4.3 啓動 yarm

　　　　　

　　　　　　

　　　　　　使用jps查看是否啓動成功

 

　　　　　　

 　　4.4瀏覽器查看

　　　　

　　　　Linux機器上使用瀏覽器查看

　　　　

 

5.總結

　　　出現失敗的緣由主要是hadoop的權限和Java問題