Hadoop安裝-僞分佈式

Hadoop安裝有三種模式，單機模式、僞分佈式和分佈式安裝

僞分佈式安裝

一、去hadoop官網下載 .tar.gz 文件，並拷貝到虛擬機中

　　增長hadoop環境變量，　　

　　　　export HADOOP_HOME=/home/wdd/hadoop-2.9.0
　　　　export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

　　上面兩句分別在.bash_profile和/etc/profile中增長。

　　.bash_profile 是限制於用戶，

　　/etc/profile 是全局用戶

二、解壓，tar -xzf hadoop-2.9.0.tar.gz 

　　壓縮、解壓命令：　

　　　　tar –cvf jpg.tar *.jpg //將目錄裏全部jpg文件打包成tar.jpg
　　　　tar –czf jpg.tar.gz *.jpg   //將目錄裏全部jpg文件打包成jpg.tar後，而且將其用gzip壓縮，生成一個gzip壓縮過的包，命名爲jpg.tar.gz
　　　　tar –cjf jpg.tar.bz2 *.jpg //將目錄裏全部jpg文件打包成jpg.tar後，而且將其用bzip2壓縮，生成一個bzip2壓縮過的包，命名爲jpg.tar.bz2
　　　　tar –cZf jpg.tar.Z *.jpg   //將目錄裏全部jpg文件打包成jpg.tar後，而且將其用compress壓縮，生成一個umcompress壓縮過的包，命名爲jpg.tar.Z

　　　　tar –xvf file.tar //解壓 tar包
　　　　tar -xzvf file.tar.gz //解壓tar.gz
　　　　tar -xjvf file.tar.bz2   //解壓 tar.bz2
　　　　tar –xZvf file.tar.Z   //解壓tar.Z
　　　　unrar e file.rar //解壓rar
　　　　unzip file.zip //解壓zip
三、 配置Hadoop，通常須要配置5個文件，配置文件路徑在etc/hadoop

　　1） 編輯 vi hadoop-env.sh 

　　　　增長java環境變量，以下

　　　　export JAVA_HOME=/home/jdk/ 或者 export JAVA_HOME=${JAVA_HOME}

　　2） 編輯 vi core-site.xml，配置以下：　

　　　　

　　3） 編輯 vi hdfs-site.xml，datanode能夠配置多個

　　　　

　　4） 編輯vi mapred-site.xml，須要根據mapred-site.xml.template建立（cp  mapred-site.xml.template mapred-site.xml）

　　　　編輯以下：　　

　　　　

　　5） 編輯 vi yarn-site.xml

　　　　

　　6） 而後建立上述配置中出現的目錄，並分配讀寫權限

　　7）啓動hdfs namenode -format，報錯以下：　　

　　　　　　

　　　　緣由，版本不匹配所致，不一樣的JDK使用不一樣的 major.minor.

　　　　Hadoop版本高於2.7應該用jdk1.7

　　　　　　　　　   低於2.6應該用jdk1.6　　

　　8） 更換jdk版本，成功執行

四、啓動hadoop　　

　　1） 啓動hdfs集羣

　　　　hadoop-daemon.sh start namenode 啓動主節點
　　　　hadoop-daemon.sh start datanode 啓動從節點

　　　　

　　2） 啓動yarn集羣

　　　　yarn-daemon.sh start resourcemanager
　　　　yarn-daemon.sh start nodemanager

　　　　

　　3）啓動做業歷史服務器

　　　　mr-jobhistory-daemon.sh start historyserver

 　　　　

　　4） jps查看是否啓動成功，成功啓動

　　　　

　　5） 查看是否啓動成功，

　　　　http://localhost:50070

　　　　http://localhost:8088