史上最詳細、最全面的Hadoop環境搭建
做者：鳴宇淳
gitbook.cn/books/5954c9600326c7705af8a92a/index.htmlhtml
前言
這是一篇入門文章，Hadoop的學習方法不少，網上也有不少學習路線圖。本文的思路是：以安裝部署Apache Hadoop2.x版本爲主線，來介紹Hadoop2.x的架構組成、各模塊協同工做原理、技術細節。安裝不是目的，經過安裝認識Hadoop纔是目的。java
第一部分：Linux環境安裝
第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。node
第二部分：Hadoop本地模式安裝
Hadoop本地模式只是用於本地開發調試，或者快速安裝體驗Hadoop，這部分作簡單的介紹。linux
第三部分：Hadoop僞分佈式模式安裝
僞分佈式的意思是雖然各個模塊是在各個進程上分開運行的，可是隻是運行在一個操做系統上的，並非真正的分佈式。git
第四部分：徹底分佈式安裝
徹底分佈式模式纔是生產環境採用的模式，Hadoop運行在服務器集羣上，生產環境通常都會作HA，以實現高可用。web
第一部分：Linux環境安裝
第一步、配置Vmware NAT網絡
這裏選擇NAT模式，各個虛擬機經過NAT使用宿主機的IP來訪問外網。
第二步、安裝Linux操做系統
操做系統的安裝步驟請自行參考公衆號前期文章，而後將各機器hosts文件統一。關閉防火牆：學習環境能夠直接把防火牆關閉掉。用root用戶登陸後，執行查看防火牆狀態。關閉selinux：selinux是Linux一個子安全機制，學習環境能夠將它禁用。算法
第三步、安裝JDK
查看是否已經安裝了java JDK。vim
[root@bigdata-senior01 Desktop]# java –version 注意：Hadoop機器上的JDK，最好是Oracle的Java JDK，否則會有一些問題，好比可能沒有JPS命令。 若是安裝了其餘版本的JDK，卸載掉。
將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下 [root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules #添加環境變量設置JDK的環境變量 JAVA_HOME。 須要修改配置文件/etc/profile，追加export JAVA_HOME="/opt/modules/jdk1.7.0_67"export PATH=$JAVA_HOME/bin:$PATH #修改完畢後，執行 source /etc/profile #安裝後再次執行 java –version,能夠看見已經安裝完成。 [root@bigdata-senior01 /]# java -version java version "1.7.0_67"Java(TM) SE Runtime Environment (build 1.7.0_67-b01)Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
第二部分：Hadoop本地模式安裝
Hadoop部署模式有：本地模式、僞分佈模式、徹底分佈式模式、HA徹底分佈式模式。區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模塊運行在幾個JVM進程、幾個機器。安全
本地模式部署
本地模式是最簡單的模式，全部模塊都運行與一個JVM進程中，使用的本地文件系統，而不是HDFS，本地模式主要是用於本地開發過程當中的運行調試用。默認的就是本地模式。建立一個存放本地模式hadoop的目錄。服務器
[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone
#解壓hadoop文件
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopstandalone/
#確保JAVA_HOME環境變量已經配置好
[hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}/opt/modules/jdk1.7.0_67
運行MapReduce程序，驗證,咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
#準備mapreduce輸入文件wc.input [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input hadoop mapreduce hive hbase spark storm sqoop hadoop hive spark hadoop #運行hadoop自帶的mapreduce Demo [hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2 #這裏能夠看到job ID中有local字樣，說明是運行在本地模式下的。
第三部分：Hadoop僞分佈式模式安裝
僞分佈式Hadoop部署過程
Hadoop所用的用戶設置
#建立一個名字爲hadoop的普通用戶 [root@bigdata-senior01 ~]# useradd hadoop [root@bigdata-senior01 ~]# passwd hadoop #給hadoop用戶sudo權限 [root@bigdata-senior01 ~]# vim /etc/sudoers #設置權限，學習環境能夠將hadoop用戶的權限設置的大一些，可是生產環境必定要注意普通用戶的權限限制。 root ALL=(ALL) ALL hadoop ALL=(root) NOPASSWD:ALL #注意：若是root用戶無權修改sudoers文件，先手動爲root用戶添加寫權限。 [root@bigdata-senior01 ~]# chmod u+w /etc/sudoers #切換到hadoop用戶 [root@bigdata-senior01 ~]# su - hadoop [hadoop@bigdata-senior01 ~]$
建立存放hadoop文件的目錄
[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules #將hadoop文件夾的全部者指定爲hadoop用戶,若是存放hadoop的目錄的全部者不是hadoop，以後hadoop運行中可能會有權限問題，那麼就講全部者改成hadoop。 [hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
解壓Hadoop目錄文件
#複製hadoop-2.5.0.tar.gz到/opt/modules目錄下。解壓hadoop-2.5.0.tar.gz。 [hadoop@bigdata-senior01 ~]# cd /opt/modules [hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
配置Hadoop
#配置Hadoop環境變量
[hadoop@bigdata-senior01 hadoop]# vim /etc/profile
#追加配置：export HADOOP_HOME="/opt/modules/hadoop-2.5.0"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#執行：source /etc/profile 使得配置生效
#驗證HADOOP_HOME參數：
[hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME/opt/modules/hadoop-2.5.0
#配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME參數
[hadoop@bigdata-senior01 ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh
#修改JAVA_HOME參數爲：
export JAVA_HOME="/opt/modules/jdk1.7.0_67"
配置core-site.xml
[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml
#（1）fs.defaultFS參數配置的是HDFS的地址。
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
</property>
#（2）hadoop.tmp.dir配置的是Hadoop臨時目錄，好比HDFS的NameNode數據默認都存放這個目錄下，查看*-default.xml等默認配置文件，就能夠看到不少依賴${hadoop.tmp.dir}的配置。默認的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元數據存儲在這個/tmp目錄下，若是操做系統重啓了，系統會清空/tmp目錄下的東西，致使NameNode元數據丟失，是個很是嚴重的問題，全部咱們應該修改這個路徑。
#建立臨時目錄：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp
#將臨時目錄的全部者修改成hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tm
#修改hadoop.tmp.dir
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/tmp</value>
</property>
配置、格式化、啓動HDFS
# 配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xm
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
#dfs.replication配置的是HDFS存儲時的備份數量，由於這裏是僞分佈式環境只有一個節點，因此這裏設置
[hadoop@bigdata-senior01 ~]$ hdfs namenode –format #格式化是對HDFS這個分佈式文件系統中的DataNode進行分塊，統計全部分塊後的初始元數據的存儲在NameNode中。格式化後，查看core-site.xml裏hadoop.tmp.dir（本例是/opt/data目錄）指定的目錄下是否有了dfs目錄，若是有，說明格式化成功。注意：格式化時，這裏注意hadoop.tmp.dir目錄的權限問題，應該hadoop普通用戶有讀寫權限才行，能夠將/opt/data的全部者改成hadoop。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data #查看NameNode格式化後的目錄。 [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
fsimage是NameNode元數據在內存滿了後，持久化保存到的文件。 fsimage*.md5 是校驗文件，用於校驗fsimage的完整性。 seen_txid 是hadoop的版本 vession文件裏保存： namespaceID：NameNode的惟一ID。 clusterID:集羣ID，NameNode和DataNode的集羣ID應該一致，代表是一個集羣。 #Mon Jul 04 17:25:50 CST 2016 namespaceID=2101579007 clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4 cTime=0 storageType=NAME_NODE blockpoolID=BP-1641019026-127.0.0.1-1467624350057 layoutVersion=-57
啓動NameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode
starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
啓動DataNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
啓動SecondaryNameNode
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode
starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
JPS命令查看是否已經啓動成功，有結果就是啓動成功了。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps 3034 NameNode 3233 Jps 3193 SecondaryNameNode 3110 DataNode
HDFS上測試建立目錄、上傳、下載文件
#HDFS上建立目錄
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
上傳本地文件到HDFS上
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put
${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1
#讀取HDFS上的文件內容
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xm
#從HDFS上下載文件到本地 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml
配置、啓動YARN
#配置mapred-site.xml,默認沒有mapred-site.xml文件，可是有個mapred-site.xml.template配置模板文件。複製模板生成mapred-site.xml。 [hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml #添加配置以下：<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> #指定mapreduce運行在yarn框架上。
#配置yarn-site.xml添加配置以下： <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior01.chybinmy.com</value> </property> yarn.nodemanager.aux-services配置了yarn的默認混洗方式，選擇爲mapreduce的默認混洗算法。 yarn.resourcemanager.hostname指定了Resourcemanager運行在哪一個節點上。
#啓動Resourcemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager
#啓動nodemanager
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager
#查看是否啓動成功
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps
3034 NameNode
4439 NodeManager
4197 ResourceManager
4543 Jps
3193 SecondaryNameNode
3110 DataNode
#能夠看到ResourceManager、NodeManager已經啓動成功了。
YARN的Web頁面
YARN的Web客戶端端口號是8088，經過http://192.168.100.10:8088/能夠查看。
運行MapReduce Job
#建立測試用的Input文件,建立輸入目錄: [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input #建立原始文件:在本地/opt/data目錄建立一個文件wc.input,內容以下。 #將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中: [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input #運行WordCount MapReduce Job [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output #查看輸出結果目錄 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output -rw-r--r-- 1 hadoop supergroup 0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS -rw-r--r-- 1 hadoop supergroup 60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000 #output目錄中有兩個文件，_SUCCESS文件是空文件，有這個文件說明Job執行成功。part-r-00000文件是結果文件，其中-r-說明這個文件是Reduce階段產生的結果，mapreduce程序執行時，能夠沒有reduce階段，可是確定會有map階段，若是沒有reduce階段這個地方有是-m-。一個reduce會產生一個part-r-開頭的文件。查看輸出文件內容。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000 hadoop 3 hbase 1 hive 2 mapreduce 1 spark 2 sqoop 1 storm 1 #結果是按照鍵值排好序的。
中止Hadoop
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode stopping namenode [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode stopping datanode [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager stopping resourcemanager [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager stopping nodemanager
Hadoop各個功能模塊的理解
一、 HDFS模塊
HDFS負責大數據的存儲，經過將大文件分塊後進行分佈式存儲方式，突破了服務器硬盤大小的限制，解決了單臺機器沒法存儲大文件的問題，HDFS是個相對獨立的模塊，能夠爲YARN提供服務，也能夠爲HBase等其餘模塊提供服務。
二、 YARN模塊
YARN是一個通用的資源協同和任務調度框架，是爲了解決Hadoop1.x中MapReduce裏NameNode負載太大和其餘問題而建立的一個框架。YARN是個通用框架，不止能夠運行MapReduce，還能夠運行Spark、Storm等其餘計算框架。
三、 MapReduce模塊
MapReduce是一個計算框架，它給出了一種數據處理的方式，即經過Map階段、Reduce階段來分佈式地流式處理數據。它只適用於大數據的離線處理，對實時性要求很高的應用不適用。
開啓歷史服務
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
開啓後，能夠經過Web頁面查看歷史服務器：
http://bigdata-senior01.chybi...:19888/
Web查看job執行歷史
運行一個mapreduce任務[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1#job執行中
開啓日誌彙集
日誌彙集介紹
MapReduce是在各個機器上運行的，在運行過程當中產生的日誌存在於各個機器上，爲了可以統一查看各個機器的運行日誌，將日誌集中存放在HDFS上，這個過程就是日誌彙集。
開啓日誌彙集
#配置日誌彙集功能：Hadoop默認是不啓用日誌彙集的。在yarn-site.xml文件裏配置啓用日誌彙集。 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> yarn.log-aggregation-enable:是否啓用日誌彙集功能。 yarn.log-aggregation.retain-seconds：設置日誌保留時間，單位是秒。 #將配置文件分發到其餘節點： [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/ [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/ #重啓Yarn進程： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh #重啓HistoryServer進程： [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver #測試日誌彙集,運行一個demo MapReduce，使之產生日誌： bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1 #查看日誌：運行Job後，就能夠在歷史服務器Web頁面查看各個Map和Reduce的日誌了。
第四部分：徹底分佈式安裝
徹底布式環境部署Hadoop
徹底分部式是真正利用多臺Linux主機來進行部署Hadoop，對Linux機器集羣進行規劃，使得Hadoop各個模塊分別部署在不一樣的多臺機器上。
服務器功能規劃
在第一臺機器上安裝新的Hadoop
爲了和以前BigData01機器上安裝僞分佈式Hadoop區分開來，咱們將BigData01上的Hadoop服務都中止掉，而後在一個新的目錄/opt/modules/app下安裝另一個Hadoop。
咱們採用先在第一臺機器上解壓、配置Hadoop，而後再分發到其餘兩臺機器上的方式來安裝集羣。
解壓Hadoop目錄
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/ #配置Hadoop JDK路徑修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑： export JAVA_HOME="/opt/modules/jdk1.7.0_67"
配置core-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-senior01.chybinmy.com:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value> </property> </configuration> #fs.defaultFS爲NameNode的地址。hadoop.tmp.dir爲hadoop臨時目錄的地址，默認狀況下，NameNode和DataNode的數據文件都會存在這個目錄下的對應子目錄下。應該保證此目錄是存在的，若是不存在，先建立。
配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata-senior03.chybinmy.com:50090</value> </property> </configuration> #dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號，由於在規劃中，咱們將BigData03規劃爲SecondaryNameNode服務器。因此這裏設置爲：bigdata-senior03.chybinmy.com:50090
配置slaves
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves bigdata-senior01.chybinmy.com bigdata-senior02.chybinmy.com bigdata-senior03.chybinmy.com #slaves文件是指定HDFS上有哪些DataNode節點。
配置yarn-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml1 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior02.chybinmy.com</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> #根據規劃yarn.resourcemanager.hostname這個指定resourcemanager服務器指向bigdata-senior02.chybinmy.com。yarn.log-aggregation-enable是配置是否啓用日誌彙集功能。yarn.log-aggregation.retain-seconds是配置彙集的日誌在HDFS上最多保存多長時間。
配置mapred-site.xml
#從mapred-site.xml.template複製一個mapred-site.xml文件。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-senior01.chybinmy.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bigdata-senior01.chybinmy.com:19888</value> </property> </configuration> #mapreduce.framework.name設置mapreduce任務運行在yarn上。mapreduce.jobhistory.address是設置mapreduce的歷史服務器安裝在BigData01機器上。mapreduce.jobhistory.webapp.address是設置歷史服務器的web頁面地址和端口號。
設置SSH無密碼登陸
Hadoop集羣中的各個機器間會相互地經過SSH訪問，每次訪問都輸入密碼是不現實的，因此要配置各個機器間的SSH是無密碼登陸的。
#在BigData01上生成公鑰 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa 一路回車，都設置爲默認值，而後再當前用戶的Home目錄下的.ssh目錄中會生成公鑰文件（id_rsa.pub）和私鑰文件（id_rsa）。 #分發公鑰 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com #設置BigData0二、BigData03到其餘機器的無密鑰登陸，一樣的在BigData0二、BigData03上生成公鑰和私鑰後，將公鑰分發到三臺機器上。
分發Hadoop文件
#首先在其餘兩臺機器上建立存放Hadoop的目錄 [hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app [hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app #經過Scp分發Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔，文件至關大，建議在分發以前將這個目錄刪除掉，能夠節省硬盤空間並能提升分發的速度。doc目錄大小有1.6G。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc 1.6G /opt/modules/app/hadoop-2.5.0/share/doc [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app
格式NameNode
#在NameNode機器上執行格式化：
[hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format
注意：若是須要從新格式化NameNode,須要先將原來NameNode和DataNode下的文件所有刪除，否則會報錯，NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的。
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/data/tmp</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
#由於每次格式化，默認是建立一個集羣ID，並寫入NameNode和DataNode的VERSION文件中（VERSION文件所在目錄爲dfs/name/current 和 dfs/data/current），從新格式化時，默認會生成一個新的集羣ID,若是不刪除原來的目錄，會致使namenode中的VERSION文件中是新的集羣ID,而DataNode中是舊的集羣ID，不一致時會報錯。另外一種方法是格式化時指定集羣ID參數，指定爲舊的集羣ID。
啓動集羣
#啓動HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh
#啓動YARN [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh #在BigData02上啓動ResourceManager: [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager #啓動日誌服務器 由於咱們規劃的是在BigData03服務器上運行MapReduce日誌服務，因此要在BigData03上啓動。 [hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda ta-senior03.chybinmy.com.out [hadoop@bigdata-senior03 ~]$ jps 3570 Jps 3537 JobHistoryServer 3310 SecondaryNameNode 3213 DataNode 3392 NodeManager #查看HDFS Web頁面 http://bigdata-senior01.chybinmy.com:50070/ #查看YARN Web 頁面 http://bigdata-senior02.chybinmy.com:8088/cluster ###### 測試Job 咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
測試Job
咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
#準備mapreduce輸入文件wc.input [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input hadoop mapreduce hive hbase spark stormsqoop hadoop hive spark hadoop #在HDFS建立輸入目錄input [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input #將wc.input上傳到HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input # 運行hadoop自帶的mapreduce Demo [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output #查看輸出文件 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /outputFound 2 items -rw-r--r-- 3 hadoop supergroup 0 2016-07-14 16:36 /output/_SUCCESS -rw-r--r-- 3 hadoop supergroup 60 2016-07-14 16:36 /output/part-r-00000
相關文章
- 1. 史上最詳細的Hadoop環境搭建(五)之二
- 2. 史上最詳細的Hadoop環境搭建(三)
- 3. 史上最詳細的Hadoop環境搭建
- 4. GitChat·大數據 | 史上最詳細的Hadoop環境搭建
- 5. 史上最詳細的Hadoop環境搭建(轉)
- 6. 史上最詳細的hadoop環境搭建
- 7. 轉 史上最詳細的Hadoop環境搭建
- 8. 史上最詳細的Hadoop環境搭建(四)
- 9. Java開發環境搭建（windows版、史上最詳細版）
- 10. phpCMS V9 史上最詳細環境搭建（windows）
- 更多相關文章...
- • Swift 環境搭建 - Swift 教程
- • Rust 環境搭建 - RUST 教程
- • Tomcat學習筆記（史上最全tomcat學習筆記）
- • PHP Ajax 跨域問題最佳解決方案
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
最新文章
- 1. 字節跳動21屆秋招運營兩輪面試經驗分享
- 2. Java 3 年，25K 多嗎？
- 3. mysql安裝部署
- 4. web前端開發中父鏈和子鏈方式實現通信
- 5. 3.1.6 spark體系之分佈式計算-scala編程-scala中trait特性
- 6. dataframe2
- 7. ThinkFree在線
- 8. 在線畫圖
- 9. devtools熱部署
- 10. 編譯和鏈接
歡迎關注本站公眾號,獲取更多信息
