Hadoop學習筆記-010-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安裝Hbase1.0.0

參考：

http://www.aboutyun.com/blog-9721-986.html

http://www.cnblogs.com/jun1019/p/6260492.html

 

虛擬機中共五個centos系統，每一個系統有兩個用戶root和hadoop：cdh1,cdh2,cdh3,cdh4,cdh5

集羣規劃

 

安裝hbase（cdh1機器）

 

第一步，解壓已下載好的hbase安裝包

#tar -zxvf hbase-1.0.0-cdh5.4.4.tar.gz

 

 

解壓後刪除hbase安裝包，節省磁盤空間

#rm -rf hbase-1.0.0-cdh5.4.4.tar.gz

 

 

第二步，root用戶配置環境變量

#vi /etc/profile

 

添加如下配置

HBASE_HOME=/home/hadoop/app/hbase-1.0.0-cdh5.4.4

export PATH=$PATH:$HBASE_HOME/bin

 

 

使環境變量及時生效

#source /etc/profile

 

 

第三步，配置hbase-env.sh

hadoop用戶登陸

#su hadoop

 

進入$HBASE_HOME/conf目錄，配置 hbase-env.sh文件

#vi hbase-env.sh

 

 

添加如下兩個配置：

export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

export HBASE_MANAGES_ZK=false

 

 

第四步，配置hbase-site.xml文件

進入$HBASE_HOME/conf目錄，配置hbase-site.xml文件

添加如下配置：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
/**
 *
 * Licensed to the Apache Software Foundation (ASF) under one
 * or more contributor license agreements.  See the NOTICE file
 * distributed with this work for additional information
 * regarding copyright ownership.  The ASF licenses this file
 * to you under the Apache License, Version 2.0 (the
 * "License"); you may not use this file except in compliance
 * with the License.  You may obtain a copy of the License at
 *
 *     http://www.apache.org/licenses/LICENSE-2.0
 *
 * Unless required by applicable law or agreed to in writing, software
 * distributed under the License is distributed on an "AS IS" BASIS,
 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 * See the License for the specific language governing permissions and
 * limitations under the License.
 */
-->
<configuration>


<property>
 <name>hbase.rootdir</name>
 <value>hdfs://cluster1/hbase</value>
</property>
<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>cdh3:2181,cdh4:2181,cdh5:2181</value>
</property>
<property>
 <name>dfs.replication</name>
 <value>3</value>
</property>


</configuration>

其中，hbase-site.xml文件中的hbase.rootdir和hadoop的配置文件core-site.xml中fs.defaultFS的值一致，個人配置是hdfs://cluster1；

hbase-site.xml文件中的hbase.zookeeper.quorum和hadoop的配置文件core-site.xml中ha.zookeeper.quorum的值一致，個人配置是cdh3:2181,cdh4:2181,cdh5:2181；

core-site.xml配置以下：

 

hbase-site.xml文件的配置以下

 

第五步，配置regionservers

添加如下配置（從機）：

cdh3

cdh4

cdh5

 

 

第六步，拷貝hadoop的hdfs-site.xml和core-site.xml 放到$ HBASE_HOME/conf下

# cp ~/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/hdfs-site.xml ~/app/hbase-1.0.0-cdh5.4.4/conf/

# cp ~/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/core-site.xml ~/app/hbase-1.0.0-cdh5.4.4/conf/

 

 

 

第七步，拷貝hbase安裝文件到其餘節點（cdh2,cdh3,cdh4,cdh5）

在cdh1的~/tools目錄下執行deploy.sh批處理命令 

# ./deploy.sh ~/app/hbase-1.0.0-cdh5.4.4/ ~/app/ all

 

 

驗證其餘節點是否拷貝成功，如cdh2

 

第八步，其餘節點的root用戶配置環境變量（能夠用批處理腳本，也能夠每一個節點手動配置）

#vi /etc/profile

 

添加如下配置

HBASE_HOME=/home/hadoop/app/hbase-1.0.0-cdh5.4.4

export PATH=$PATH:$HBASE_HOME/bin

 

 

其餘節點配置以下：

 

使環境變量及時生效

#source /etc/profile

 

 

第九步，啓動hadoop

啓動zookeeper，進入cdh3節點的~/tools目錄

#cd ~/tools/

#./runRemoteCmd.sh "~/app/zookeeper-3.4.5-cdh5.4.5/bin/zkServer.sh start" zookeeper

 

啓動HDFS，進入cdh1節點的~/app/hadoop-2.6.0-cdh5.4.5/sbin目錄,執行./start-dfs.sh

# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin

#./start-dfs.sh

 

 

啓動YARN，進入cdh1節點的~/app/hadoop-2.6.0-cdh5.4.5/sbin目錄,執行./start-yarn.sh 

# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin

#./start-yarn.sh

 

啓動resourcemanager，進入cdh2節點的~/app/hadoop-2.6.0-cdh5.4.5/sbin目錄

# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin

# ./yarn-daemon.sh start resourcemanager

 

 

查看各節點進程，進入cdh1的~/tools目錄下

#cd ~/tools/

#./runRemoteCmd.sh "jps" all

 

****************************關閉hadoop集羣************************

關閉cdh1的resourcemanager，進入cdh1節點的~/app/hadoop-2.6.0-cdh5.4.5/sbin目錄,執行./yarn-daemon.sh stop resourcemanager 

#cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin

#./yarn-daemon.sh stop resourcemanager

 

 

關閉yarn（也會關閉cdh2的resourcemanager），進入cdh2節點的~/app/hadoop-2.6.0-cdh5.4.5/sbin目錄,執行./stop-yarn.sh 

#cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin

# ./stop-yarn.sh

 

 

關閉HDFS，進入cdh1節點的~/app/hadoop-2.6.0-cdh5.4.5/sbin目錄,執行./stop-dfs.sh

# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin

#./stop-dfs.sh

 

 

關閉zookeeper，進入cdh3節點的~/tools目錄

#cd ~/tools/

#./runRemoteCmd.sh "~/app/zookeeper-3.4.5-cdh5.4.5/bin/zkServer.sh stop" zookeeper

 

 

查看進程，進入cdh1的~/tools目錄下

#cd ~/tools/

#./runRemoteCmd.sh "jps" all

 

 

 

第十步，啓動hbase

# start-hbase.sh

 

啓動完成後，cdh1節點會多出HMaster進程，cdh3,cdh4,cdh5三個節點會多出HRegionServer進程（regionservers文件中配置的cdh3,cdh4,cdh5）

 

 

第十一步，訪問cdh1的hbase管理頁面

http://cdh1:60010/

 

第十二步，啓動另一個Hmaster節點

在cdh2節點啓動Hmaster

# hbase-daemon.sh start master

 

 

訪問cdh2的hbase管理頁面

http://cdh2:60010/

 

能夠看出cdh2節點是hbase的從機。

 

第十三步，停掉cdh1節點的Hmaster

# hbase-daemon.sh stop master

 

 

第十四步，再次訪問cdh2的hbase管理頁面

http://cdh2:60010/

 

能夠看出，cdh2已經成功切換爲Hmaster主節點。

 

 

第十五步，驗證hbase shell

#hbase shell

 

 

至此，Hbase安裝完成。

 

**************************啓動和中止hbase命令***********************

啓動HBase集羣：

bin/start-hbase.sh

 

單獨啓動一個HMaster進程：

bin/hbase-daemon.sh start master

 

單獨中止一個HMaster進程：

bin/hbase-daemon.sh stop master

 

單獨啓動一個HRegionServer進程：

bin/hbase-daemon.sh start regionserver

 

單獨中止一個HRegionServer進程：

bin/hbase-daemon.sh stop regionserver

 

 

 

 

 

 

完成！