高可用Hadoop平臺－HBase集羣搭建

1.概述

　　今天補充一篇HBase集羣的搭建，這個是高可用系列遺漏的一篇博客，今天抽時間補上，今天給你們介紹的主要內容目錄以下所示：

• 基礎軟件的準備
• HBase介紹
• HBase集羣搭建
• 單點問題驗證
• 截圖預覽

　　那麼，接下來咱們開始今天的HBase集羣搭建學習。

2.基礎軟件的準備

　　因爲HBase的數據是存放在HDFS上的，因此咱們在使用HBase時，確保Hadoop集羣已搭建完成，並運行良好。如果爲搭建Hadoop集羣，請參考我寫的《配置高可用的Hadoop平臺》來完成Hadoop平臺的搭建。另外，咱們還須要準備好HBase的安裝包，這裏我所使用的HBase-1.0.1，Hadoop版本使用的是2.6.0，基礎軟件下載地址以下所示：

　　HBase安裝包　　《下載地址》

　　在準備好基礎軟件後，咱們來介紹一下HBase的相關背景。

3.HBase介紹

　　在使用HBase的時候，咱們須要清楚HBase是用來幹什麼的。HBase是一個分佈式的、面向列的開源數據庫，就像Bigtable利用了Google文件系統（File System）所提供的分佈式數據存儲同樣，HBase在Hadoop之上提供了相似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不一樣於通常的關係數據庫，它是一個適合於非結構化數據存儲的數據庫。另外一個不一樣的是HBase基於列的而不是基於行的模式。它是一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統，利用HBase技術可在廉價PC Server上搭建起大規模結構化存儲集羣。

　　接下來咱們來看看HBase的使用場景，HBase有以下使用場景：

•  大數據量 （100s TB級數據） 且有快速隨機訪問的需求。
•  例如淘寶的交易歷史記錄。數據量巨大無容置疑，面向普通用戶的請求必然要即時響應。
•  容量的優雅擴展。
•  大數據的驅使，動態擴展系統容量的必須的。例如：webPage DB。
•  業務場景簡單，不須要關係數據庫中不少特性（例如交叉列、交叉表，事務，鏈接等等）。
•  優化方面：合理設計rowkey。由於hbase的查詢用rowkey是最高效的，也幾乎的惟一輩子產環境可行的方式。因此把你的查詢請求轉換爲查詢rowkey的請求吧。

4.HBase集羣搭建

　　在搭建HBase集羣時，既然HBase擁有高可用特性，那麼咱們在搭建的時候要充分利用這個特性，下面給你們一個HBase的集羣搭建架構圖，以下圖所示：

　　這裏因爲資源有限，我將HBase的RegionServer部署在3個DN節點上，HBase的HMaster服務部署在NNA和NNS節點，部署2個HMaster保證集羣的高可用性，防止單點問題。下面咱們開始配置HBase的相關配置，這裏我使用的是獨立的ZK，未使用HBase自帶的ZK。

• hbase-env.sh

# The java implementation to use.  Java 1.7+ required.
export JAVA_HOME=/usr/java/jdk1.7

# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false

• hbase-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>dn1:2181,dn2:2181,dn3:2181</value>
        <description>The directory shared by RegionServers.
        </description>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/home/hadoop/data/zk</value>
        <description>Property from ZooKeeper config zoo.cfg.
            The directory
            where the snapshot is stored.
        </description>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://cluster1/hbase</value>
        <description>The directory shared by RegionServers.
        </description>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
        <description>The mode the cluster will be in. Possible values are
            false: standalone and pseudo-distributed setups with managed
            Zookeeper
            true: fully-distributed with unmanaged Zookeeper Quorum (see
            hbase-env.sh)
        </description>
    </property>
</configuration>

• regionservers

dn1
dn2
dn3

5.單點問題驗證

　　在配置完成集羣后，咱們開始啓動集羣，須要注意的時，在啓動集羣以前確保各個節點之間的時間是同步的，或者時間差不能太大，若時間差太大，會致使HBase啓動失敗。下面咱們在NNA節點輸入啓動命令，命令內容以下所示：

[hadoop@nna ~]$ start-hbase.sh

　　而後，咱們在NNS節點上在啓動一個HMaster進程，啓動命令以下所示：

[hadoop@nns ~]$ hbase-daemon.sh start master

　　而後，咱們在各個節點輸入jps命令查看相關啓動進程，各個節點分佈的進程以下表所示：

節點	進程
NNA	HMaster
NNS	HMaster
DN1	RegionServer
DN2	RegionServer
DN3	RegionServer

　　截圖以下所示：

　　HBase的Web管理界面，默認端口是16010，這裏我先啓動的是NNA的HMaster，所提NNA節點HMaster對外提供服務，截圖以下所示：

　　下面我kill掉NNA節點的HMaster進程，命令以下所示：

[hadoop@nna ~]$ kill -9 2542

　　而後，咱們在查看相應的服務，因爲咱們使用了ZK，它會選擇一個主服務出來，即NNS節點對外提供HMaster服務，截圖以下所示：

　　經過驗證，HBase的高可用性正常，避免存在單點問題。

6.截圖預覽

　　下面給出HBase數據庫的截圖預覽，以下圖所示：

7.總結

　　這裏須要注意的是，在搭建HBase集羣的時候須要保證Hadoop平臺運行正常，各個節點的時間差不能相差太大，最後時間可以同步。不然會致使HBase的啓動失敗。另外，若是在啓動HBase集羣時，提示不能解析HDFS路徑，這裏將Hadoop的core-site.xml和hdfs-site.xml文件複製到HBase的conf文件目錄下便可。

8.結束語

　　這篇博客就和你們分享到這裏，若是你們在研究學習的過程中有什麼問題，能夠加羣進行討論或發送郵件給我，我會盡我所能爲您解答，與君共勉！