hadoop完整集羣遇到問題彙總post
注意。hbase集羣我是在前面的hadoop集羣上繼續搭建而來 (搭建好個節點後輸入jps 各節點啓動進程以下:)spa
主機 | 別名 | 安裝軟件 | 現有進程 | 服務地址 |
192.168.248.138 | cdh1 | hadoop2.8 jdk1.8 | namenode DFSZKFailoverController HMaster | http://cdh1:50070 http://cdh1:16010/master-status |
192.168.248.139 | cdh2 | hadoop2.8 jdk1.8 | namenode DFSZKFailoverController | http://cdh1:50070 |
192.168.248.140 | cdh3 | hadoop2.8 jdk1.8 | ResourceManager | |
192.168.248.141 | cdh4 | hadoop2.8 jdk1.8 zookeeper3.4.13 | QuorumPeerMain JournalNode DataNode NodeManager | |
192.168.248.142 | cdh5 | hadoop2.8 jdk1.8 zookeeper3.4.13 hbase1.4.0 | QuorumPeerMain JournalNode DataNode NodeManager HMaster HRegionServer | http://cdh5:16010/master-status |
192.168.248.143 | cdh6 | hadoop2.8 jdk1.8 zookeeper3.4.13 hbase1.4.0 | QuorumPeerMain JournalNode DataNode NodeManager HRegionServer | |
192.168.248.144 | cdh7 | hadoop2.8 jdk1.8 hbase1.4.0 | JournalNode DataNode NodeManager HRegionServer |
1> 選擇兼容hadoop2.8的hbase版本,在這我選擇的是hbase1.4. 具體版本對應參考百度server
2> 上傳到/hadoop文件夾下,解壓 (root權限)xml
3> 配置hbase-env.sh 和hbase-site.xml配置文件 htm
注意,在修改配置文件以前,先把hbase的環境變量配置到/etc/profile中,這步在前面搭建hadoop集羣已經說過屢次,在此直接上截圖blog
修改hbase-env.sh j進入到/HBASE/conf下
export JAVA_HOME=/hadoop/jdk1.8.0_181 修改爲本身的jdk
export HBASE_MANAGES_ZK=false 不用hbase自帶的zk,使用咱們集羣中的zk
修改hbase-site.xml: [本身仔細看看就會明白]
4> 修改 regionservers 配置從節點
注意:這我應該在cdh5上啓動,這樣cdh5是HMaster,爲了高可用,我是在cdh1的namedata 節點上啓動,這樣cdh1 和cdh5都是Hmater ,同時 cdh5,cdh6,cdh7都是HRegionServer【這樣搭建完成你們就會看到】
5> hbase同步到cdh5 cdh6 cdh7 機器上
scp -r $HBASE_HOME cdh5:/hadoop/
scp -r $HBASE_HOME cdh6:/hadoop/
scp -r $HBASE_HOME cdh7:/hadoop/
6> 在cdh1 上的主hbase上啓動,隨之整個集羣都會被啓動
注意: 注意 : 注意: 在啓動hbase集羣以前必定要保證時間同步,否則啓動不了hbase集羣的,或者說能夠啓動部分時間範圍內的集羣,切記
時間同步最簡的是 date -s "2019-05-31 09:02:00" 【這種方式重啓後時間同步失效】 還能夠用netdate (這種重啓後不會失效,採用在線同步的方式同步時間)
時間同步完成後就能夠啓動hbase集羣 進入$HBASE_HOME/bin 執行 start-hbase-sh 便可
到這hbase完整分佈式集羣也搭建完成了。
Web訪問:
http://192.168.248.138:16010/master-status