Hadoop環境搭建cdh版本

hadoop環境搭建單機（cdh版本）

1.下載安裝包

      下載地址http://hadoop.apache.org/

下載hadoop-2.6.0-cdh5.12.2

2.安裝tar -zxvf  hadoop-2.6.0-cdh5.12.2.tar.gz

3.建立文件夾儲存hadoop，給hadoop重命名

4.進入etc文件夾選擇hadoop文件夾  cd hadoop

5.開始配置hadoop-env.sh   修改其中的JAVA_HOME路徑

6.配置core-site.xml

fs.defaultFS默認文件系統的名稱,用來肯定主機、端口等對於一個文件系統.

hadoop.tmp.dir是hadoop的臨時文件目錄

hadoop.proxyuser.root.users 遠程使用root登陸的用戶

hadoop.proxyuser.root.groups遠程root組的用戶登陸

 

7.修改hdfs-site.xml   

dfs.replication文件副本數量，副本數量默認按128M進行切分，若小於此值的話則不切分！一個文件，上傳到hdfs上時指定的是幾個副本就是幾個。之後你修改了副本數，對已經上傳了的文件也不會起做用。

8.複製mapred-site.xml.template 並修改內容

使用 Yarn 框架執行 map-reduce 處理程序

9.配置yarn-site.xml

yarn.resourcemanager.address提供客戶端訪問的地址。客戶端經過該地址向RM提交應用程序，殺死應用程序等

 

yarn.nodemanager.aux-services經過該配置項，用戶能夠自定義一些服務，例如Map-Reduce的shuffle功能就是採用這種方式實現的，這樣就能夠在NodeManager上擴展本身的服務。

 

Shuffle把一組有必定規則的數據儘可能轉換成一組無規則的數據，越隨機越好，從Map輸出到Reduce輸入的整個過程能夠廣義地稱爲Shuffle。

 

10修改etc/profile,添加如下內容

export HADOOP_HOME=/opt/bigdata/hadoop260 

export HADOOP_MAPRED_HOME=$HADOOP_HOME 

export HADOOP_COMMON_HOME=$HADOOP_HOME 

export HADOOP_HDFS_HOME=$HADOOP_HOME 

export YARN_HOME=$HADOOP_HOME 

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 

export HADOOP_INSTALL=$HADOOP_HOME

 

 

11.格式化

hdfs namenode -format

 

12、啓動start-all.sh 

    關閉是stop-all.sh

13、jps查看全部進程是否開啓

14、訪問

http://192.168.56.110:50070