史上最詳細、最全面的Hadoop環境搭建

時間  2020-04-25
標籤 史上 詳細 全面 hadoop 環境 搭建 欄目 Hadoop 简体版
原文   原文鏈接


做者：鳴宇淳
gitbook.cn/books/5954c9600326c7705af8a92a/index.htmlhtml

前言

這是一篇入門文章，Hadoop的學習方法不少，網上也有不少學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本爲主線，來介紹Hadoop2.x的架構組成、各模塊協同工做原理、技術細節。安裝不是目的，經過安裝認識Hadoop纔是目的。java

第一部分：Linux環境安裝

第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。node

第二部分：Hadoop本地模式安裝

Hadoop本地模式只是用於本地開發調試，或者快速安裝體驗Hadoop，這部分作簡單的介紹。linux

第三部分：Hadoop僞分佈式模式安裝

僞分佈式的意思是雖然各個模塊是在各個進程上分開運行的，可是隻是運行在一個操做系統上的，並非真正的分佈式。git

第四部分：徹底分佈式安裝

徹底分佈式模式纔是生產環境採用的模式，Hadoop運行在服務器集羣上，生產環境通常都會作HA，以實現高可用。web

第一部分：Linux環境安裝

第一步、配置Vmware NAT網絡
這裏選擇NAT模式，各個虛擬機經過NAT使用宿主機的IP來訪問外網。
第二步、安裝Linux操做系統
操做系統的安裝步驟請自行參考公衆號前期文章，而後將各機器hosts文件統一。關閉防火牆：學習環境能夠直接把防火牆關閉掉。用root用戶登陸後，執行查看防火牆狀態。關閉selinux：selinux是Linux一個子安全機制，學習環境能夠將它禁用。算法

第三步、安裝JDK
查看是否已經安裝了java JDK。vim

[root@bigdata-senior01 Desktop]# java –version
注意：Hadoop機器上的JDK，最好是Oracle的Java JDK，否則會有一些問題，好比可能沒有JPS命令。 若是安裝了其餘版本的JDK，卸載掉。
將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下
[root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules
#添加環境變量設置JDK的環境變量 JAVA_HOME。
須要修改配置文件/etc/profile，追加export JAVA_HOME="/opt/modules/jdk1.7.0_67"export PATH=$JAVA_HOME/bin:$PATH
#修改完畢後，執行 source /etc/profile

#安裝後再次執行 java –version,能夠看見已經安裝完成。
[root@bigdata-senior01 /]# java -version
java version "1.7.0_67"Java(TM) SE Runtime Environment (build 1.7.0_67-b01)Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)

第二部分：Hadoop本地模式安裝

Hadoop部署模式有：本地模式、僞分佈模式、徹底分佈式模式、HA徹底分佈式模式。區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模塊運行在幾個JVM進程、幾個機器。安全

image.png

本地模式部署
本地模式是最簡單的模式，全部模塊都運行與一個JVM進程中，使用的本地文件系統，而不是HDFS，本地模式主要是用於本地開發過程當中的運行調試用。默認的就是本地模式。建立一個存放本地模式hadoop的目錄。服務器

[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone
#解壓hadoop文件
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz  -C /opt/modules/hadoopstandalone/
#確保JAVA_HOME環境變量已經配置好
[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}/opt/modules/jdk1.7.0_67

運行MapReduce程序，驗證,咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

#準備mapreduce輸入文件wc.input
[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
#運行hadoop自帶的mapreduce Demo
[hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2
#這裏能夠看到job ID中有local字樣，說明是運行在本地模式下的。

第三部分：Hadoop僞分佈式模式安裝

僞分佈式Hadoop部署過程

Hadoop所用的用戶設置
#建立一個名字爲hadoop的普通用戶  
[root@bigdata-senior01 ~]# useradd hadoop  
[root@bigdata-senior01 ~]# passwd hadoop  
#給hadoop用戶sudo權限  
[root@bigdata-senior01 ~]# vim /etc/sudoers  
#設置權限，學習環境能夠將hadoop用戶的權限設置的大一些，可是生產環境必定要注意普通用戶的權限限制。  
root    ALL=(ALL)       ALL  
hadoop ALL=(root) NOPASSWD:ALL  
#注意：若是root用戶無權修改sudoers文件，先手動爲root用戶添加寫權限。  
[root@bigdata-senior01 ~]# chmod u+w /etc/sudoers  
#切換到hadoop用戶  
[root@bigdata-senior01 ~]# su - hadoop  
[hadoop@bigdata-senior01 ~]$
建立存放hadoop文件的目錄
[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules  
#將hadoop文件夾的全部者指定爲hadoop用戶,若是存放hadoop的目錄的全部者不是hadoop，以後hadoop運行中可能會有權限問題，那麼就講全部者改成hadoop。  
[hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
解壓Hadoop目錄文件
#複製hadoop-2.5.0.tar.gz到/opt/modules目錄下。解壓hadoop-2.5.0.tar.gz。
[hadoop@bigdata-senior01 ~]# cd /opt/modules
[hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
配置Hadoop
#配置Hadoop環境變量
[hadoop@bigdata-senior01 hadoop]# vim /etc/profile
#追加配置：export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#執行：source /etc/profile 使得配置生效

#驗證HADOOP_HOME參數：
[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME/opt/modules/hadoop-2.5.0

#配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME參數
[hadoop@bigdata-senior01 ~]$ sudo vim  ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

#修改JAVA_HOME參數爲：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
配置core-site.xml
[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml  
#（1）fs.defaultFS參數配置的是HDFS的地址。  
<property>  
<name>fs.defaultFS</name>  
<value>hdfs://bigdata-senior01.chybinmy.com:8020</value>  
</property>  
#（2）hadoop.tmp.dir配置的是Hadoop臨時目錄，好比HDFS的NameNode數據默認都存放這個目錄下，查看*-default.xml等默認配置文件，就能夠看到不少依賴${hadoop.tmp.dir}的配置。默認的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元數據存儲在這個/tmp目錄下，若是操做系統重啓了，系統會清空/tmp目錄下的東西，致使NameNode元數據丟失，是個很是嚴重的問題，全部咱們應該修改這個路徑。  
#建立臨時目錄：  
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp  
#將臨時目錄的全部者修改成hadoop  
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tm  
#修改hadoop.tmp.dir  
 <property>  
   <name>hadoop.tmp.dir</name>  
    <value>/opt/data/tmp</value>  
  </property>
配置、格式化、啓動HDFS
# 配置hdfs-site.xml

image.png

[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xm
    <property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>
#dfs.replication配置的是HDFS存儲時的備份數量，由於這裏是僞分佈式環境只有一個節點，因此這裏設置

image.png

[hadoop@bigdata-senior01 ~]$ hdfs namenode –format
#格式化是對HDFS這個分佈式文件系統中的DataNode進行分塊，統計全部分塊後的初始元數據的存儲在NameNode中。格式化後，查看core-site.xml裏hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，若是有，說明格式化成功。注意：格式化時，這裏注意hadoop.tmp.dir目錄的權限問題，應該hadoop普通用戶有讀寫權限才行，能夠將/opt/data的全部者改成hadoop。 
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data
#查看NameNode格式化後的目錄。
[hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current

image.png

fsimage是NameNode元數據在內存滿了後，持久化保存到的文件。
fsimage*.md5 是校驗文件，用於校驗fsimage的完整性。
seen_txid 是hadoop的版本
vession文件裏保存：
namespaceID：NameNode的惟一ID。
clusterID:集羣ID，NameNode和DataNode的集羣ID應該一致，代表是一個集羣。
#Mon Jul 04 17:25:50 CST 2016
namespaceID=2101579007
clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1641019026-127.0.0.1-1467624350057
layoutVersion=-57
啓動NameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
啓動DataNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
啓動SecondaryNameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
JPS命令查看是否已經啓動成功，有結果就是啓動成功了。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
3233 Jps
3193 SecondaryNameNode
3110 DataNode

image.png

HDFS上測試建立目錄、上傳、下載文件
#HDFS上建立目錄
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

上傳本地文件到HDFS上
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put 
${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
#讀取HDFS上的文件內容
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xm

image.png

#從HDFS上下載文件到本地  
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml

image.png

配置、啓動YARN
#配置mapred-site.xml,默認沒有mapred-site.xml文件，可是有個mapred-site.xml.template配置模板文件。複製模板生成mapred-site.xml。
[hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
#添加配置以下：<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
#指定mapreduce運行在yarn框架上。

image.png

#配置yarn-site.xml添加配置以下：  
<property>  
  <name>yarn.nodemanager.aux-services</name>  
  <value>mapreduce_shuffle</value>  
</property>  
<property>  
    <name>yarn.resourcemanager.hostname</name>  
    <value>bigdata-senior01.chybinmy.com</value>  
 </property>  
yarn.nodemanager.aux-services配置了yarn的默認混洗方式，選擇爲mapreduce的默認混洗算法。  
yarn.resourcemanager.hostname指定了Resourcemanager運行在哪一個節點上。
#啓動Resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
#啓動nodemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
#查看是否啓動成功
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
4439 NodeManager
4197 ResourceManager
4543 Jps
3193 SecondaryNameNode
3110 DataNode
#能夠看到ResourceManager、NodeManager已經啓動成功了。
YARN的Web頁面

YARN的Web客戶端端口號是8088，經過http://192.168.100.10:8088/能夠查看。

運行MapReduce Job
#建立測試用的Input文件,建立輸入目錄:
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input
#建立原始文件:在本地/opt/data目錄建立一個文件wc.input,內容以下。

#將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中:
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input
#運行WordCount MapReduce Job
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output

#查看輸出結果目錄
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output
-rw-r--r--   1 hadoop supergroup    0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS
-rw-r--r--   1 hadoop supergroup   60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000

#output目錄中有兩個文件，_SUCCESS文件是空文件，有這個文件說明Job執行成功。part-r-00000文件是結果文件，其中-r-說明這個文件是Reduce階段產生的結果，mapreduce程序執行時，能夠沒有reduce階段，可是確定會有map階段，若是沒有reduce階段這個地方有是-m-。一個reduce會產生一個part-r-開頭的文件。查看輸出文件內容。

[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000
hadoop  3
hbase   1
hive    2
mapreduce       1
spark   2
sqoop   1
storm   1
#結果是按照鍵值排好序的。
中止Hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode
stopping namenode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

Hadoop各個功能模塊的理解

一、 HDFS模塊

HDFS負責大數據的存儲，經過將大文件分塊後進行分佈式存儲方式，突破了服務器硬盤大小的限制，解決了單臺機器沒法存儲大文件的問題，HDFS是個相對獨立的模塊，能夠爲YARN提供服務，也能夠爲HBase等其餘模塊提供服務。

二、 YARN模塊

YARN是一個通用的資源協同和任務調度框架，是爲了解決Hadoop1.x中MapReduce裏NameNode負載太大和其餘問題而建立的一個框架。YARN是個通用框架，不止能夠運行MapReduce，還能夠運行Spark、Storm等其餘計算框架。

三、 MapReduce模塊

MapReduce是一個計算框架，它給出了一種數據處理的方式，即經過Map階段、Reduce階段來分佈式地流式處理數據。它只適用於大數據的離線處理，對實時性要求很高的應用不適用。

開啓歷史服務

[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver

開啓後，能夠經過Web頁面查看歷史服務器：
http://bigdata-senior01.chybi...:19888/

Web查看job執行歷史
運行一個mapreduce任務[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1#job執行中

開啓日誌彙集

日誌彙集介紹

MapReduce是在各個機器上運行的，在運行過程當中產生的日誌存在於各個機器上，爲了可以統一查看各個機器的運行日誌，將日誌集中存放在HDFS上，這個過程就是日誌彙集。

開啓日誌彙集
#配置日誌彙集功能：Hadoop默認是不啓用日誌彙集的。在yarn-site.xml文件裏配置啓用日誌彙集。
<property>    
<name>yarn.log-aggregation-enable</name>    
<value>true</value> 
</property>
<property>    <name>yarn.log-aggregation.retain-seconds</name>    
<value>106800</value> 
</property>
yarn.log-aggregation-enable:是否啓用日誌彙集功能。
yarn.log-aggregation.retain-seconds：設置日誌保留時間，單位是秒。
#將配置文件分發到其餘節點：
[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
[hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/
#重啓Yarn進程：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh
#重啓HistoryServer進程：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
#測試日誌彙集,運行一個demo MapReduce，使之產生日誌：
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1
#查看日誌：運行Job後，就能夠在歷史服務器Web頁面查看各個Map和Reduce的日誌了。 

第四部分：徹底分佈式安裝

徹底布式環境部署Hadoop
徹底分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器集羣進行規劃，使得Hadoop各個模塊分別部署在不一樣的多臺機器上。

服務器功能規劃

image.png

在第一臺機器上安裝新的Hadoop

爲了和以前BigData01機器上安裝僞分佈式Hadoop區分開來，咱們將BigData01上的Hadoop服務都中止掉，而後在一個新的目錄/opt/modules/app下安裝另一個Hadoop。 
咱們採用先在第一臺機器上解壓、配置Hadoop，而後再分發到其餘兩臺機器上的方式來安裝集羣。

解壓Hadoop目錄
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/
#配置Hadoop JDK路徑修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
配置core-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml
<configuration> 
<property>   
<name>fs.defaultFS</name>   
<value>hdfs://bigdata-senior01.chybinmy.com:8020</value> 
</property> 
<property>   
<name>hadoop.tmp.dir</name>   
<value>/opt/modules/app/hadoop-2.5.0/data/tmp</value> 
</property>
</configuration>
#fs.defaultFS爲NameNode的地址。hadoop.tmp.dir爲hadoop臨時目錄的地址，默認狀況下，NameNode和DataNode的數據文件都會存在這個目錄下的對應子目錄下。應該保證此目錄是存在的，若是不存在，先建立。
配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml
<configuration> 
<property>   
<name>dfs.namenode.secondary.http-address</name>   
<value>bigdata-senior03.chybinmy.com:50090</value> 
</property>
</configuration>
#dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號，由於在規劃中，咱們將BigData03規劃爲SecondaryNameNode服務器。因此這裏設置爲：bigdata-senior03.chybinmy.com:50090
配置slaves
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves
bigdata-senior01.chybinmy.com
bigdata-senior02.chybinmy.com
bigdata-senior03.chybinmy.com
#slaves文件是指定HDFS上有哪些DataNode節點。
配置yarn-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml1    
<property>        
<name>yarn.nodemanager.aux-services</name>        
<value>mapreduce_shuffle</value>    
</property>    
<property>        
<name>yarn.resourcemanager.hostname</name>        
<value>bigdata-senior02.chybinmy.com</value>    
</property>    
<property>        
<name>yarn.log-aggregation-enable</name>        
<value>true</value>    
</property>    
<property>       
<name>yarn.log-aggregation.retain-seconds</name>    
<value>106800</value>  
</property>
#根據規劃yarn.resourcemanager.hostname這個指定resourcemanager服務器指向bigdata-senior02.chybinmy.com。yarn.log-aggregation-enable是配置是否啓用日誌彙集功能。yarn.log-aggregation.retain-seconds是配置彙集的日誌在HDFS上最多保存多長時間。
配置mapred-site.xml
#從mapred-site.xml.template複製一個mapred-site.xml文件。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1
<configuration>   
<property>      
<name>mapreduce.framework.name</name>   
<value>yarn</value>  
</property>  
<property>      
<name>mapreduce.jobhistory.address</name>      
<value>bigdata-senior01.chybinmy.com:10020</value> 
</property>   
<property>     
<name>mapreduce.jobhistory.webapp.address</name>    
<value>bigdata-senior01.chybinmy.com:19888</value>  
</property>
</configuration>
#mapreduce.framework.name設置mapreduce任務運行在yarn上。mapreduce.jobhistory.address是設置mapreduce的歷史服務器安裝在BigData01機器上。mapreduce.jobhistory.webapp.address是設置歷史服務器的web頁面地址和端口號。
設置SSH無密碼登陸

Hadoop集羣中的各個機器間會相互地經過SSH訪問，每次訪問都輸入密碼是不現實的，因此要配置各個機器間的SSH是無密碼登陸的。

#在BigData01上生成公鑰
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa
一路回車，都設置爲默認值，而後再當前用戶的Home目錄下的.ssh目錄中會生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）。
#分發公鑰
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com
#設置BigData0二、BigData03到其餘機器的無密鑰登陸，一樣的在BigData0二、BigData03上生成公鑰和私鑰後，將公鑰分發到三臺機器上。
分發Hadoop文件
#首先在其餘兩臺機器上建立存放Hadoop的目錄
[hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app
[hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app
#經過Scp分發Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔，文件至關大，建議在分發以前將這個目錄刪除掉，能夠節省硬盤空間並能提升分發的速度。doc目錄大小有1.6G。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc
1.6G   /opt/modules/app/hadoop-2.5.0/share/doc
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app
[hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app
格式NameNode
#在NameNode機器上執行格式化：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format
注意：若是須要從新格式化NameNode,須要先將原來NameNode和DataNode下的文件所有刪除，否則會報錯，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的。
<property>   
<name>hadoop.tmp.dir</name>    
<value>/opt/data/tmp</value> 
</property>
<property>   
<name>dfs.namenode.name.dir</name>  
<value>file://${hadoop.tmp.dir}/dfs/name</value> 
</property>
<property>  
<name>dfs.datanode.data.dir</name>  
<value>file://${hadoop.tmp.dir}/dfs/data</value> 
</property>
#由於每次格式化，默認是建立一個集羣ID，並寫入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄爲dfs/name/current 和 dfs/data/current），從新格式化時，默認會生成一個新的集羣ID,若是不刪除原來的目錄，會致使namenode中的VERSION文件中是新的集羣ID,而DataNode中是舊的集羣ID，不一致時會報錯。另外一種方法是格式化時指定集羣ID參數，指定爲舊的集羣ID。
啓動集羣
#啓動HDFS
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh
#啓動YARN  
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh  
#在BigData02上啓動ResourceManager:  
[hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager  
#啓動日誌服務器  
由於咱們規劃的是在BigData03服務器上運行MapReduce日誌服務，因此要在BigData03上啓動。  
[hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver  
starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda       ta-senior03.chybinmy.com.out  
[hadoop@bigdata-senior03 ~]$ jps  
3570 Jps  
3537 JobHistoryServer  
3310 SecondaryNameNode  
3213 DataNode  
3392 NodeManager  
#查看HDFS Web頁面  
http://bigdata-senior01.chybinmy.com:50070/  
#查看YARN Web 頁面  
http://bigdata-senior02.chybinmy.com:8088/cluster
###### 測試Job

咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
測試Job

咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。

#準備mapreduce輸入文件wc.input
[hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input
hadoop mapreduce hive
hbase spark 
stormsqoop hadoop hive
spark hadoop
#在HDFS建立輸入目錄input
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input
#將wc.input上傳到HDFS
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input
# 運行hadoop自帶的mapreduce Demo
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output
#查看輸出文件
[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /outputFound 2 items
-rw-r--r--   3 hadoop supergroup          0 2016-07-14 16:36 /output/_SUCCESS
-rw-r--r--   3 hadoop supergroup         60 2016-07-14 16:36 /output/part-r-00000
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程