0基礎搭建Hadoop大數據處理-集羣安裝

時間  2019-11-30
標籤 基礎 搭建 hadoop 數據處理 集羣 安裝 欄目 Hadoop 简体版
原文   原文鏈接

　　通過一系列的前期環境準備，如今能夠開始Hadoop的安裝了，在這裏去apache官網下載2.7.3的版本 http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gzjava

　　不須要下載最新的3.0版本， 與後續Hive最新版本有衝突，不知道是否是本身的打開方式不對。node

 　  hadoop有三種運行方式：單機、僞分佈式、徹底分佈式，本文介紹徹底分佈式。linux

安裝Hadoop

　　如今有三個機器，一個Master H32，兩個Slaver H3三、H34。web

　　將下載的壓縮包上傳到解壓並移動至Master機器的相應目錄。apache

　　將軟件放置/usr/local目錄下：服務器

tar -zxvf hadoop-2.7.3.tar.gz
mv hadoop-2.7.3 hadoop273

 

建立hadoop用戶組和用戶

[root@H32 local]# groupadd hadoop #添加hadoop組
[root@H32 local]# useradd -g hadoop hadoop -s /bin/false

　　將該hadoop文件夾的屬主用戶設爲hadoopapp

sudo chown -R hadoop:hadoop /usr/local/hadoop273
  配置文件以前先大致介紹一下hadoop2目錄中的各個文件夾，注意區分與Hadoop1中的改變。

外層的啓動腳本在sbin目錄webapp

內層的被調用腳本在bin目錄jvm

Native的so文件都在lib/native目錄socket

配置程序文件都放置在libexec

配置文件都在etc目錄，對應之前版本的conf目錄

全部的jar包都在share/hadoop目錄下面

建立Hadoop數據目錄：

mkdir -p /usr/local/hadoop273/hdfs/name
mkdir -p /usr/local/hadoop273/hdfs/data

若不配置，Hadoop默認將數據存儲在tmp文件夾中，重啓會清空tmp數據，所以單獨配置其數據存儲文件夾，具體使用配置在下面XML中。

配置環境變量

/etc/profile 增長以下內容：

export HADOOP_HOME=/usr/local/hadoop273
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HADOOP_MAPARED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export LD_LIBRARY_PATH=${HADOOP_HOME}/lib/native/:$LD_LIBRARY_PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

　　執行執行source /etc/profile，使之生效

修改slaves文件，添加子節點服務名或IP 

$HADOOP_HOME/etc/hadoop/slaves （Master主機特有，子節點能夠不加）

H33 
H34

 或寫對應的IP

192.168.80.33

192.168.80.34

hadoop-env.sh中配置java_home

export JAVA_HOME=/usr/local/java/jdk1.8.0_101

　　讓環境變量配置生效source

source /usr/local/hadoop3/etc/hadoop/hadoop-env.sh

　　Hadoop配置文件在conf目錄下，以前的版本的配置文件主要是Hadoop-default.xml和Hadoop-site.xml。

　　因爲Hadoop發展迅速，代碼量急劇增長，代碼開發分爲了core，hdfs和map/reduce三部分，配置文件也被分紅了三個core-site.xml、hdfs-site.xml、mapred-site.xml。

　　core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

core-site.xml配置以下（通過屢次坑最後能穩定跑的配置，說多了都是淚）

<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://H32:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop273/hadoop_tmp</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sqoop2.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.sqoop2.groups</name>
<value>*</value>
</property>
</configuration>

　　單首創建tmp文件夾hadoop_tmp 給 hadoop.tmp.dir 用於跟普通數據隔離。

hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>H32:9001</value>
</property>
<property>
   <name>dfs.replication</name>
   <value>1</value>
</property>
<property>
  <name>dfs.tmp.dir</name>
  <value>/usr/local/hadoop273/hadoop_tmp</value>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop273/hdfs/name</value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/usr/local/hadoop273/hdfs/data</value>
</property>
<property>
    <name>dfs.permissions</name>
    <value>false</value>
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
</configuration>

mapred-site.xml

<configuration>
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop273/etc/hadoop,/usr/local/hadoop273/share/hadoop/common/*,/usr/local/hadoop273/share/hadoop/common/lib/*,/usr/local/hadoop273/share/hadoop/hdfs/*,/usr/local/hadoop273/share/hadoop/hdfs/lib/*,/usr/local/hadoop273/share/hadoop/mapreduce/*,/usr/local/hadoop273/share/hadoop/mapreduce/lib/*,/usr/local/hadoop273/share/hadoop/yarn/*,/usr/local/hadoop273/share/hadoop/yarn/lib/*</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>H32:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>H32:19888</value>
</property>
<property>
<name>mapreduce.map.memory.mb</name>
<value>1536</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx3072M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>3072</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx6144M</value>
</property>
<property>
<name>mapreduce.cluster.map.memory.mb</name>
<value>-1</value>
</property>
<property>
<name>mapreduce.cluster.reduce.memory.mb</name>
<value>-1</value>
</property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.address</name>
<value>H32:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>H32:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>H32:8031</value>
</property>   
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>H32:8033</value>
</property>   
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>H32:8088</value>
</property>  
<property> 
  <name>yarn.nodemanager.aux-services</name> 
  <value>mapreduce_shuffle</value> 
</property>   
<property> 
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
  <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
</property>
<property>
<name>mapreduce.application.classpath</name>
<value>/usr/local/hadoop273/etc/hadoop,/usr/local/hadoop273/share/hadoop/common/*,/usr/local/hadoop273/share/hadoop/common/lib/*,/usr/local/hadoop273/share/hadoop/hdfs/*,/usr/local/hadoop273/share/hadoop/hdfs/lib/*,/usr/local/hadoop273/share/hadoop/mapreduce/*,/usr/local/hadoop273/share/hadoop/mapreduce/lib/*,/usr/local/hadoop273/share/hadoop/yarn/*,/usr/local/hadoop273/share/hadoop/yarn/lib/*</value>
</property> 
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>3</value>
</property>
</configuration>

 注意黃色標誌，要classpath必定是絕對路徑，不要用$HADOOP_HOME，運行會一直提示找不到相關類錯誤，至此master節點的hadoop搭建完畢。

搭建剩餘節點

如今在Master機器上的Hadoop配置就結束了，剩下的就是配置Slave機器上的Hadoop。
將 Master上配置好的hadoop所在文件夾"/usr/local/hadoop273"複製到全部的Slave的"/usr/local"目錄下（實際上Slave機器上的slavers文件是沒必要要的， 複製了也沒問題）。用下面命令格式進行。（備註：此時用戶能夠爲hadoop也能夠爲root）
把H32的hadoop目錄下的logs和tmp刪除，再把H32中的jdk、hadoop文件夾複製到H33和H34節點

scp -r /usr/local/hadoop273 root@H33:/usr/local

例如：從"Master.Hadoop"到"Slave1.Hadoop"複製配置Hadoop的文件。

上圖中以root用戶進行復制，固然不論是用戶root仍是hadoop，雖然Master機器上的"/usr/local/hadoop273"文件夾用戶hadoop有權限，可是Slave1上的hadoop用戶卻沒有"/usr/local"權限，因此沒有建立文件夾的權限。因此不管是哪一個用戶進行拷貝，右面都是"root@機器IP"格式。由於咱們只是創建起了hadoop用戶的SSH無密碼鏈接，因此用root進行"scp"時，扔提示讓你輸入"Slave1.Hadoop"服務器用戶root的密碼。

查看"Slave1.Hadoop"服務器的"/usr/local"目錄下是否已經存在"hadoop"文件夾，確認已經複製成功。

hadoop文件夾確實已經複製了，可是咱們發現hadoop權限是root，因此咱們如今要給"Slave1.Hadoop"服務器上的用戶hadoop添加對"/usr/local/hadoop"讀權限。

以上配置完成後，將hadoop整個文件夾複製到其餘機器。

啓動hadoop

1.格式化namenode

hdfs namenode -format 只需一次，下次啓動再也不須要格式化，只需 start-all.sh
若沒有設置路徑$HADOOP_HOME/bin爲環境變量，則需在$HADOOP_HOME路徑下執行

bin/hdfs namenode -format

 

2.啓動dfs及yarn

start-dfs.sh 在啓動前關閉集羣中全部機器的防火牆，否則會出現datanode開後又自動關閉(暫未發現) service iptables stop

start-yarn.sh
若沒有設置路徑$HADOOP_HOME/sbin爲環境變量，則需在$HADOOP_HOME路徑下執行

sbin/start-dfs.sh
sbin/start-yarn.sh
或 直接start-all.sh都啓動

另外還要啓動history服務，否則在面板中不能打開history連接。

sbin/mr-jobhistory-daemon.sh start historyserver

中止集羣

sbin/stop-dfs.sh
sbin/stop-yarn.sh
或 直接stop-all.sh

 

下面使用jps命令查看啓動進程：
4504 ResourceManager
4066 DataNode
4761 NodeManager
5068 JobHistoryServer
4357 SecondaryNameNode
3833 NameNode
5127 Jps

打開監控頁面

如今即可以打開頁面http://192.168.80.32:8088及http://192.168.80.32:50070；看到下面兩個頁面時說明安裝成功。

 

 

 

測試

hdfs測試：

在root中建立文件：

~/hadoop-test-data.txt

向hdfs中上傳文件：

bin/hadoop fs -put ~/hadoop-test-data.txt /tmp/input

查看hdfs文件目錄：

hdfs dfs –ls /

移除文件命令：

hadoop fs -rm -r /tmp/input

Yarn測試：

運行WordCount測試程序，output爲輸出文件。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /tmp/input output

運行過程出現下面內容，沒有錯誤提示說明正常：

 

 具體查看結果：

查看生成列表，會有兩個文件，主要查看part-r-00000

hadoop fs -ls output/

hadoop fs -cat output/part-r-00000

 結果顯示：

hadoop 1
hello 2
java 4
jsp 1

到這裏，hadoop-2環境搭建結束，配置文件根據具體需求，具體配置。

查看集羣狀態：

[root@H32 hadoop273]$ ./bin/hdfs dfsadmin -report 

MapReduce Application Master界面：

 

Map Task運行情況：

某個Node上各個Container狀態：

 

擴展

如下列布署過程當中遇到的幾個常見問題，加了網上一些網友的內容。

解決"no datanode to stop"問題

　　當中止Hadoop時發現以下信息：

緣由：每次namenode format會從新建立一個namenodeId，而tmp/dfs/data下包含了上次format下的id，namenode format清空了namenode下的數據，可是沒有清空datanode下的數據，致使啓動時失敗，所要作的就是每次fotmat前，清空tmp一下的全部目錄。
　　第一種解決方案以下：
　　1）先刪除"/usr/hadoop/tmp"
rm -rf /usr/hadoop/tmp
　　2）建立"/usr/hadoop/tmp"文件夾
mkdir /usr/hadoop/tmp
　　3）刪除"/tmp"下以"hadoop"開頭文件
rm -rf /tmp/hadoop*
　　4）從新格式化hadoop
hadoop namenode -format
　　5）啓動hadoop
start-all.sh
　　使用第一種方案，有種很差處就是原來集羣上的重要數據全沒有了。假如說Hadoop集羣已經運行了一段時間。建議採用第二種。
　　第二種方案以下：
　　1）修改每一個Slave的namespaceID使其與Master的namespaceID一致。
　　或者
　　2）修改Master的namespaceID使其與Slave的namespaceID一致。
　　該"namespaceID"位於"/usr/hadoop/tmp/dfs/data/current/VERSION"文件中，前面藍色的可能根據實際狀況變化，但後面紅色是不變的。
　　例如：查看"Master"下的"VERSION"文件

本人建議採用第二種，這樣方便快捷，並且還能防止誤刪。

 

Slave服務器中datanode啓動後又自動關閉

　　查看日誌發下以下錯誤。
　　ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to ... failed on local exception: java.net.NoRouteToHostException: No route to host
　　解決方案是：關閉防火牆
      service iptables stop

從本地往hdfs文件系統上傳文件
　　出現以下錯誤：
　　INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink
　　INFO hdfs.DFSClient: Abandoning block blk_-1300529705803292651_37023
　　WARN hdfs.DFSClient: DataStreamer Exception: java.io.IOException: Unable to create new block.
　　解決方案是：
　　1）關閉防火牆
service iptables stop
　　2）禁用selinux
編輯 "/etc/selinux/config"文件，設置"SELINUX=disabled"

 

處理速度特別的慢
　　出現map很快，可是reduce很慢，並且反覆出現"reduce=0%"。
　　解決方案以下：
　　結合解決方案5.7，而後修改"conf/hadoop-env.sh"中的"export HADOOP_HEAPSIZE=4000"


解決hadoop OutOfMemoryError問題
　　出現這種異常，明顯是jvm內存不夠得緣由。
　　解決方案以下：要修改全部的datanode的jvm內存大小。
Java –Xms 1024m -Xmx 4096m
　　通常jvm的最大內存使用應該爲總內存大小的一半，咱們使用的8G內存，因此設置爲4096m，這一值可能依舊不是最優的值。


Namenode in safe mode
　　解決方案以下：
bin/hadoop dfsadmin -safemode leave


IO寫操做出現問題
　　0-1246359584298, infoPort=50075, ipcPort=50020):Got exception while serving blk_-5911099437886836280_1292 to /172.16.100.165:
　　java.net.SocketTimeoutException: 480000 millis timeout while waiting for channel to be ready for write. ch : java.nio.channels.SocketChannel[connected local=/
　　172.16.100.165:50010 remote=/172.16.100.165:50930]
　　at org.apache.hadoop.net.SocketIOWithTimeout.waitForIO(SocketIOWithTimeout.java:185)
　　at org.apache.hadoop.net.SocketOutputStream.waitForWritable(SocketOutputStream.java:159)
　　……
　　It seems there are many reasons that it can timeout, the example given in HADOOP-3831 is a slow reading client.
解決方案以下：
　　在hadoop-site.xml中設置dfs.datanode.socket.write.timeout=0

java.net.NoRouteToHostException: No Route to Host from H32/192.168.80.32 to H30:40080 failed on socket timeout exception: java.net.NoRouteToHostException: 沒有到主機的路由;
關閉to H30的防火牆，或不能訪問H30服務器，重啓H30

 

This token is expired. current time is 1489243761235 found 1489239661109
Note: System times on machines may be out of sync. Check system time and time zones.
兩個主機的時間不一致，重置兩個主機的時間，重置方法網上有不少。

 

啓動hadoop時沒有NameNode的可能緣由：
（1） NameNode沒有格式化
（2） 環境變量配置錯誤
（3） Ip和hostname綁定失敗
（4）hostname含有特殊符號如何.(符號點)，會被誤解析

地址佔用報錯：org.apache.hadoop.hdfs.server.namenode.NameNode: Address already in use解決方法：查找被佔用的端口號對應的PID：netstat –tunl Pkill -9 PID 實在不行就killall -9 java

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程