做者:鳴宇淳
gitbook.cn/books/5954c9600326c7705af8a92a/index.htmlhtml
這是一篇入門文章,Hadoop的學習方法不少,網上也有不少學習路線圖。本文的思路是:以安裝部署Apache Hadoop2.x版本爲主線,來介紹Hadoop2.x的架構組成、各模塊協同工做原理、技術細節。安裝不是目的,經過安裝認識Hadoop纔是目的。java
第一部分介紹Linux環境的安裝、配置、Java JDK安裝等。node
Hadoop本地模式只是用於本地開發調試,或者快速安裝體驗Hadoop,這部分作簡單的介紹。linux
僞分佈式的意思是雖然各個模塊是在各個進程上分開運行的,可是隻是運行在一個操做系統上的,並非真正的分佈式。git
徹底分佈式模式纔是生產環境採用的模式,Hadoop運行在服務器集羣上,生產環境通常都會作HA,以實現高可用。web
第一步、配置Vmware NAT網絡
這裏選擇NAT模式,各個虛擬機經過NAT使用宿主機的IP來訪問外網。
第二步、安裝Linux操做系統
操做系統的安裝步驟請自行參考公衆號前期文章,而後將各機器hosts文件統一。關閉防火牆:學習環境能夠直接把防火牆關閉掉。用root用戶登陸後,執行查看防火牆狀態。關閉selinux:selinux是Linux一個子安全機制,學習環境能夠將它禁用。算法
第三步、安裝JDK
查看是否已經安裝了java JDK。vim
[root@bigdata-senior01 Desktop]# java –version 注意:Hadoop機器上的JDK,最好是Oracle的Java JDK,否則會有一些問題,好比可能沒有JPS命令。 若是安裝了其餘版本的JDK,卸載掉。
將jdk-7u67-linux-x64.tar.gz解壓到/opt/modules目錄下 [root@bigdata-senior01 /]# tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules #添加環境變量設置JDK的環境變量 JAVA_HOME。 須要修改配置文件/etc/profile,追加export JAVA_HOME="/opt/modules/jdk1.7.0_67"export PATH=$JAVA_HOME/bin:$PATH #修改完畢後,執行 source /etc/profile #安裝後再次執行 java –version,能夠看見已經安裝完成。 [root@bigdata-senior01 /]# java -version java version "1.7.0_67"Java(TM) SE Runtime Environment (build 1.7.0_67-b01)Java HotSpot(TM) 64-Bit Server VM (build 24.65-b04, mixed mode)
Hadoop部署模式有:本地模式、僞分佈模式、徹底分佈式模式、HA徹底分佈式模式。區分的依據是NameNode、DataNode、ResourceManager、NodeManager等模塊運行在幾個JVM進程、幾個機器。安全
本地模式部署
本地模式是最簡單的模式,全部模塊都運行與一個JVM進程中,使用的本地文件系統,而不是HDFS,本地模式主要是用於本地開發過程當中的運行調試用。默認的就是本地模式。建立一個存放本地模式hadoop的目錄。服務器
[hadoop@bigdata-senior01 modules]$ mkdir /opt/modules/hadoopstandalone #解壓hadoop文件 [hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/hadoopstandalone/ #確保JAVA_HOME環境變量已經配置好 [hadoop@bigdata-senior01 modules]$ echo ${JAVA_HOME}/opt/modules/jdk1.7.0_67
運行MapReduce程序,驗證,咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
#準備mapreduce輸入文件wc.input [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input hadoop mapreduce hive hbase spark storm sqoop hadoop hive spark hadoop #運行hadoop自帶的mapreduce Demo [hadoop@bigdata-senior01 hadoopstandalone]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output2 #這裏能夠看到job ID中有local字樣,說明是運行在本地模式下的。
僞分佈式Hadoop部署過程
#建立一個名字爲hadoop的普通用戶 [root@bigdata-senior01 ~]# useradd hadoop [root@bigdata-senior01 ~]# passwd hadoop #給hadoop用戶sudo權限 [root@bigdata-senior01 ~]# vim /etc/sudoers #設置權限,學習環境能夠將hadoop用戶的權限設置的大一些,可是生產環境必定要注意普通用戶的權限限制。 root ALL=(ALL) ALL hadoop ALL=(root) NOPASSWD:ALL #注意:若是root用戶無權修改sudoers文件,先手動爲root用戶添加寫權限。 [root@bigdata-senior01 ~]# chmod u+w /etc/sudoers #切換到hadoop用戶 [root@bigdata-senior01 ~]# su - hadoop [hadoop@bigdata-senior01 ~]$
[hadoop@bigdata-senior01 ~]$ sudo mkdir /opt/modules #將hadoop文件夾的全部者指定爲hadoop用戶,若是存放hadoop的目錄的全部者不是hadoop,以後hadoop運行中可能會有權限問題,那麼就講全部者改成hadoop。 [hadoop@bigdata-senior01 ~]# sudo chown -R hadoop:hadoop /opt/modules
#複製hadoop-2.5.0.tar.gz到/opt/modules目錄下。解壓hadoop-2.5.0.tar.gz。 [hadoop@bigdata-senior01 ~]# cd /opt/modules [hadoop@bigdata-senior01 hadoop]# tar -zxvf hadoop-2.5.0.tar.gz
#配置Hadoop環境變量 [hadoop@bigdata-senior01 hadoop]# vim /etc/profile #追加配置:export HADOOP_HOME="/opt/modules/hadoop-2.5.0" export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH #執行:source /etc/profile 使得配置生效 #驗證HADOOP_HOME參數: [hadoop@bigdata-senior01 /]$ echo $HADOOP_HOME/opt/modules/hadoop-2.5.0 #配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME參數 [hadoop@bigdata-senior01 ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh #修改JAVA_HOME參數爲: export JAVA_HOME="/opt/modules/jdk1.7.0_67"
[hadoop@bigdata-senior01 ~]{HADOOP_HOME}/etc/hadoop/core-site.xml #(1)fs.defaultFS參數配置的是HDFS的地址。 <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-senior01.chybinmy.com:8020</value> </property> #(2)hadoop.tmp.dir配置的是Hadoop臨時目錄,好比HDFS的NameNode數據默認都存放這個目錄下,查看*-default.xml等默認配置文件,就能夠看到不少依賴${hadoop.tmp.dir}的配置。默認的hadoop.tmp.dir是/tmp/hadoop-${user.name},此時有個問題就是NameNode會將HDFS的元數據存儲在這個/tmp目錄下,若是操做系統重啓了,系統會清空/tmp目錄下的東西,致使NameNode元數據丟失,是個很是嚴重的問題,全部咱們應該修改這個路徑。 #建立臨時目錄: [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo mkdir -p /opt/data/tmp #將臨時目錄的全部者修改成hadoop [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown –R hadoop:hadoop /opt/data/tm #修改hadoop.tmp.dir <property> <name>hadoop.tmp.dir</name> <value>/opt/data/tmp</value> </property>
# 配置hdfs-site.xml
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim ${HADOOP_HOME}/etc/hadoop/hdfs-site.xm <property> <name>dfs.replication</name> <value>1</value> </property> #dfs.replication配置的是HDFS存儲時的備份數量,由於這裏是僞分佈式環境只有一個節點,因此這裏設置
[hadoop@bigdata-senior01 ~]$ hdfs namenode –format #格式化是對HDFS這個分佈式文件系統中的DataNode進行分塊,統計全部分塊後的初始元數據的存儲在NameNode中。格式化後,查看core-site.xml裏hadoop.tmp.dir(本例是/opt/data目錄)指定的目錄下是否有了dfs目錄,若是有,說明格式化成功。注意:格式化時,這裏注意hadoop.tmp.dir目錄的權限問題,應該hadoop普通用戶有讀寫權限才行,能夠將/opt/data的全部者改成hadoop。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ sudo chown -R hadoop:hadoop /opt/data #查看NameNode格式化後的目錄。 [hadoop@bigdata-senior01 ~]$ ll /opt/data/tmp/dfs/name/current
fsimage是NameNode元數據在內存滿了後,持久化保存到的文件。 fsimage*.md5 是校驗文件,用於校驗fsimage的完整性。 seen_txid 是hadoop的版本 vession文件裏保存: namespaceID:NameNode的惟一ID。 clusterID:集羣ID,NameNode和DataNode的集羣ID應該一致,代表是一個集羣。 #Mon Jul 04 17:25:50 CST 2016 namespaceID=2101579007 clusterID=CID-205277e6-493b-4601-8e33-c09d1d23ece4 cTime=0 storageType=NAME_NODE blockpoolID=BP-1641019026-127.0.0.1-1467624350057 layoutVersion=-57
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start namenode starting namenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-namenode-bigdata-senior01.chybinmy.com.out
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start datanode starting datanode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-datanode-bigdata-senior01.chybinmy.com.out
[hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/hadoop-daemon.sh start secondarynamenode starting secondarynamenode, logging to /opt/modules/hadoop-2.5.0/logs/hadoop-hadoop-secondarynamenode-bigdata-senior01.chybinmy.com.out
[hadoop@bigdata-senior01 hadoop-2.5.0]$ jps 3034 NameNode 3233 Jps 3193 SecondaryNameNode 3110 DataNode
#HDFS上建立目錄 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1 上傳本地文件到HDFS上 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1 #讀取HDFS上的文件內容 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xm
#從HDFS上下載文件到本地 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -get /demo1/core-site.xml
#配置mapred-site.xml,默認沒有mapred-site.xml文件,可是有個mapred-site.xml.template配置模板文件。複製模板生成mapred-site.xml。 [hadoop@bigdata-senior01 hadoop-2.5.0]# cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml #添加配置以下:<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> #指定mapreduce運行在yarn框架上。
#配置yarn-site.xml添加配置以下: <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior01.chybinmy.com</value> </property> yarn.nodemanager.aux-services配置了yarn的默認混洗方式,選擇爲mapreduce的默認混洗算法。 yarn.resourcemanager.hostname指定了Resourcemanager運行在哪一個節點上。
#啓動Resourcemanager [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start resourcemanager #啓動nodemanager [hadoop@bigdata-senior01 hadoop-2.5.0]$ ${HADOOP_HOME}/sbin/yarn-daemon.sh start nodemanager #查看是否啓動成功 [hadoop@bigdata-senior01 hadoop-2.5.0]$ jps 3034 NameNode 4439 NodeManager 4197 ResourceManager 4543 Jps 3193 SecondaryNameNode 3110 DataNode
#能夠看到ResourceManager、NodeManager已經啓動成功了。
YARN的Web客戶端端口號是8088,經過http://192.168.100.10:8088/能夠查看。
#建立測試用的Input文件,建立輸入目錄: [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /wordcountdemo/input #建立原始文件:在本地/opt/data目錄建立一個文件wc.input,內容以下。 #將wc.input文件上傳到HDFS的/wordcountdemo/input目錄中: [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /wordcountdemo/input #運行WordCount MapReduce Job [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output #查看輸出結果目錄 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /wordcountdemo/output -rw-r--r-- 1 hadoop supergroup 0 2016-07-05 05:12 /wordcountdemo/output/_SUCCESS -rw-r--r-- 1 hadoop supergroup 60 2016-07-05 05:12 /wordcountdemo/output/part-r-00000 #output目錄中有兩個文件,_SUCCESS文件是空文件,有這個文件說明Job執行成功。part-r-00000文件是結果文件,其中-r-說明這個文件是Reduce階段產生的結果,mapreduce程序執行時,能夠沒有reduce階段,可是確定會有map階段,若是沒有reduce階段這個地方有是-m-。一個reduce會產生一個part-r-開頭的文件。查看輸出文件內容。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -cat /wordcountdemo/output/part-r-00000 hadoop 3 hbase 1 hive 2 mapreduce 1 spark 2 sqoop 1 storm 1 #結果是按照鍵值排好序的。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop namenode stopping namenode [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/hadoop-daemon.sh stop datanode stopping datanode [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop resourcemanager stopping resourcemanager [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/yarn-daemon.sh stop nodemanager stopping nodemanager
Hadoop各個功能模塊的理解
HDFS負責大數據的存儲,經過將大文件分塊後進行分佈式存儲方式,突破了服務器硬盤大小的限制,解決了單臺機器沒法存儲大文件的問題,HDFS是個相對獨立的模塊,能夠爲YARN提供服務,也能夠爲HBase等其餘模塊提供服務。
YARN是一個通用的資源協同和任務調度框架,是爲了解決Hadoop1.x中MapReduce裏NameNode負載太大和其餘問題而建立的一個框架。YARN是個通用框架,不止能夠運行MapReduce,還能夠運行Spark、Storm等其餘計算框架。
MapReduce是一個計算框架,它給出了一種數據處理的方式,即經過Map階段、Reduce階段來分佈式地流式處理數據。它只適用於大數據的離線處理,對實時性要求很高的應用不適用。
開啓歷史服務
[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver
開啓後,能夠經過Web頁面查看歷史服務器:
http://bigdata-senior01.chybi...:19888/
運行一個mapreduce任務[hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output1#job執行中
開啓日誌彙集
MapReduce是在各個機器上運行的,在運行過程當中產生的日誌存在於各個機器上,爲了可以統一查看各個機器的運行日誌,將日誌集中存放在HDFS上,這個過程就是日誌彙集。
#配置日誌彙集功能:Hadoop默認是不啓用日誌彙集的。在yarn-site.xml文件裏配置啓用日誌彙集。 <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> yarn.log-aggregation-enable:是否啓用日誌彙集功能。 yarn.log-aggregation.retain-seconds:設置日誌保留時間,單位是秒。 #將配置文件分發到其餘節點: [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior02.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/ [hadoop@bigdata-senior01 hadoop]$ scp /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-site.xml bigdata-senior03.chybinmy.com:/opt/modules/hadoop-2.5.0/etc/hadoop/ #重啓Yarn進程: [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/stop-yarn.sh[hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/start-yarn.sh #重啓HistoryServer進程: [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh stop historyserver [hadoop@bigdata-senior01 hadoop-2.5.0]$ sbin/mr-jobhistory-daemon.sh start historyserver #測試日誌彙集,運行一個demo MapReduce,使之產生日誌: bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output1 #查看日誌:運行Job後,就能夠在歷史服務器Web頁面查看各個Map和Reduce的日誌了。
徹底布式環境部署Hadoop
徹底分部式是真正利用多臺Linux主機來進行部署Hadoop,對Linux機器集羣進行規劃,使得Hadoop各個模塊分別部署在不一樣的多臺機器上。
爲了和以前BigData01機器上安裝僞分佈式Hadoop區分開來,咱們將BigData01上的Hadoop服務都中止掉,而後在一個新的目錄/opt/modules/app下安裝另一個Hadoop。
咱們採用先在第一臺機器上解壓、配置Hadoop,而後再分發到其餘兩臺機器上的方式來安裝集羣。
[hadoop@bigdata-senior01 modules]$ tar -zxf /opt/sofeware/hadoop-2.5.0.tar.gz -C /opt/modules/app/ #配置Hadoop JDK路徑修改hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑: export JAVA_HOME="/opt/modules/jdk1.7.0_67"
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://bigdata-senior01.chybinmy.com:8020</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value> </property> </configuration> #fs.defaultFS爲NameNode的地址。hadoop.tmp.dir爲hadoop臨時目錄的地址,默認狀況下,NameNode和DataNode的數據文件都會存在這個目錄下的對應子目錄下。應該保證此目錄是存在的,若是不存在,先建立。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.namenode.secondary.http-address</name> <value>bigdata-senior03.chybinmy.com:50090</value> </property> </configuration> #dfs.namenode.secondary.http-address是指定secondaryNameNode的http訪問地址和端口號,由於在規劃中,咱們將BigData03規劃爲SecondaryNameNode服務器。因此這裏設置爲:bigdata-senior03.chybinmy.com:50090
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/slaves bigdata-senior01.chybinmy.com bigdata-senior02.chybinmy.com bigdata-senior03.chybinmy.com #slaves文件是指定HDFS上有哪些DataNode節點。
[hadoop@bigdata-senior01 hadoop-2.5.0]$ vim etc/hadoop/yarn-site.xml1 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>bigdata-senior02.chybinmy.com</value> </property> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>106800</value> </property> #根據規劃yarn.resourcemanager.hostname這個指定resourcemanager服務器指向bigdata-senior02.chybinmy.com。yarn.log-aggregation-enable是配置是否啓用日誌彙集功能。yarn.log-aggregation.retain-seconds是配置彙集的日誌在HDFS上最多保存多長時間。
#從mapred-site.xml.template複製一個mapred-site.xml文件。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml1 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-senior01.chybinmy.com:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>bigdata-senior01.chybinmy.com:19888</value> </property> </configuration> #mapreduce.framework.name設置mapreduce任務運行在yarn上。mapreduce.jobhistory.address是設置mapreduce的歷史服務器安裝在BigData01機器上。mapreduce.jobhistory.webapp.address是設置歷史服務器的web頁面地址和端口號。
Hadoop集羣中的各個機器間會相互地經過SSH訪問,每次訪問都輸入密碼是不現實的,因此要配置各個機器間的SSH是無密碼登陸的。
#在BigData01上生成公鑰 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-keygen -t rsa 一路回車,都設置爲默認值,而後再當前用戶的Home目錄下的.ssh目錄中會生成公鑰文件(id_rsa.pub)和私鑰文件(id_rsa)。 #分發公鑰 [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior01.chybinmy.com [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior02.chybinmy.com [hadoop@bigdata-senior01 hadoop-2.5.0]$ ssh-copy-id bigdata-senior03.chybinmy.com #設置BigData0二、BigData03到其餘機器的無密鑰登陸,一樣的在BigData0二、BigData03上生成公鑰和私鑰後,將公鑰分發到三臺機器上。
#首先在其餘兩臺機器上建立存放Hadoop的目錄 [hadoop@bigdata-senior02 ~]$ mkdir /opt/modules/app [hadoop@bigdata-senior03 ~]$ mkdir /opt/modules/app #經過Scp分發Hadoop根目錄下的share/doc目錄是存放的hadoop的文檔,文件至關大,建議在分發以前將這個目錄刪除掉,能夠節省硬盤空間並能提升分發的速度。doc目錄大小有1.6G。 [hadoop@bigdata-senior01 hadoop-2.5.0]$ du -sh /opt/modules/app/hadoop-2.5.0/share/doc 1.6G /opt/modules/app/hadoop-2.5.0/share/doc [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior02.chybinmy.com:/opt/modules/app [hadoop@bigdata-senior01 hadoop-2.5.0]$ scp -r /opt/modules/app/hadoop-2.5.0/ bigdata-senior03.chybinmy.com:/opt/modules/app
#在NameNode機器上執行格式化: [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/bin/hdfs namenode –format 注意:若是須要從新格式化NameNode,須要先將原來NameNode和DataNode下的文件所有刪除,否則會報錯,NameNode和DataNode所在目錄是在core-site.xml中hadoop.tmp.dir、dfs.namenode.name.dir、dfs.datanode.data.dir屬性配置的。 <property> <name>hadoop.tmp.dir</name> <value>/opt/data/tmp</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file://${hadoop.tmp.dir}/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file://${hadoop.tmp.dir}/dfs/data</value> </property> #由於每次格式化,默認是建立一個集羣ID,並寫入NameNode和DataNode的VERSION文件中(VERSION文件所在目錄爲dfs/name/current 和 dfs/data/current),從新格式化時,默認會生成一個新的集羣ID,若是不刪除原來的目錄,會致使namenode中的VERSION文件中是新的集羣ID,而DataNode中是舊的集羣ID,不一致時會報錯。另外一種方法是格式化時指定集羣ID參數,指定爲舊的集羣ID。
#啓動HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-dfs.sh
#啓動YARN [hadoop@bigdata-senior01 hadoop-2.5.0]$ /opt/modules/app/hadoop-2.5.0/sbin/start-yarn.sh #在BigData02上啓動ResourceManager: [hadoop@bigdata-senior02 hadoop-2.5.0]$ sbin/yarn-daemon.sh start resourcemanager #啓動日誌服務器 由於咱們規劃的是在BigData03服務器上運行MapReduce日誌服務,因此要在BigData03上啓動。 [hadoop@bigdata-senior03 ~]$ /opt/modules/app/hadoop-2.5.0/sbin/mr-jobhistory-daemon.sh start historyserver starting historyserver, logging to /opt/modules/app/hadoop-2.5.0/logs/mapred-hadoop-historyserver-bigda ta-senior03.chybinmy.com.out [hadoop@bigdata-senior03 ~]$ jps 3570 Jps 3537 JobHistoryServer 3310 SecondaryNameNode 3213 DataNode 3392 NodeManager #查看HDFS Web頁面 http://bigdata-senior01.chybinmy.com:50070/ #查看YARN Web 頁面 http://bigdata-senior02.chybinmy.com:8088/cluster ###### 測試Job 咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
咱們這裏用hadoop自帶的wordcount例子來在本地模式下測試跑mapreduce。
#準備mapreduce輸入文件wc.input [hadoop@bigdata-senior01 modules]$ cat /opt/data/wc.input hadoop mapreduce hive hbase spark stormsqoop hadoop hive spark hadoop #在HDFS建立輸入目錄input [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /input #將wc.input上傳到HDFS [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -put /opt/data/wc.input /input/wc.input # 運行hadoop自帶的mapreduce Demo [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/wc.input /output #查看輸出文件 [hadoop@bigdata-senior01 hadoop-2.5.0]$ bin/hdfs dfs -ls /outputFound 2 items -rw-r--r-- 3 hadoop supergroup 0 2016-07-14 16:36 /output/_SUCCESS -rw-r--r-- 3 hadoop supergroup 60 2016-07-14 16:36 /output/part-r-00000