搭建HBase徹底分佈式集羣

 

參考：

http://blog.csdn.net/chabale/article/details/8808620

http://www.cnblogs.com/netbloomy/p/6677883.html

 

HBase集羣創建在hadoop集羣基礎之上，因此在搭建HBase集羣以前須要把Hadoop集羣搭建起來，而且要考慮兩者的兼容性.如今就以5臺機器爲例，搭建一個簡單的集羣.

軟件版本：hadoop-2.8.0,hbase-1.3.0,zookeeper-3.4.10

5臺機器IP：192.168.70.101(c7001)、192.168.70.102(c7002)、192.168.70.103(c7003)、192.168.70.104(c7004)、192.168.70.105(c7005)

一.搭建Hadoop集羣

參看：hadoop HA分佈式集羣搭建

二．安裝zookeeper

參看：zookeeper集羣安裝

三．部署hbase

1．解壓縮hbase的軟件包，使用命令：

tar -zxvf hbase-1.3.0-bin.tar.gz  

2．進入hbase的配置目錄，在hbase-env.sh文件裏面加入java環境變量.即：

export JAVA_HOME=/opt/jdk1.8.0_121

#Hbase日誌目錄

export HBASE_LOG_DIR=/root/hadoop/hbase-0.94.6.1/logs                            

#若是使用HBase自帶的Zookeeper值設成true 若是使用本身安裝的Zookeeper須要將該值設爲false

關閉HBase自帶的Zookeeper,使用Zookeeper集羣：

export  HBASE_MANAGES_ZK=false  

3. 編輯hbase-site.xml ，添加配置文件：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
　　<property>
　　　　<name>hbase.rootdir</name>
　　　　<value>hdfs://c7001:8020/hbase</value>
　　</property>
　　<property>
　　　　<name>hbase.cluster.distributed</name>
　　　　<value>true</value>
　　</property>
　　<property>
             <name>hbase.master</name>
             <value>hdfs://master:60000</value>
      </property>
　　<property>
　　　　<name>hbase.zookeeper.quorum</name>
　　　　<value>c7003,c7004,c7005</value>
　　</property>
　　<property>
　　　　<name>hbase.zookeeper.property.dataDir</name>
　　　　<value>/opt/hbase-1.3.0/tmp/zk/data</value>
　　</property>
</configuration>

hbase.rootdir指定Hbase數據存儲目錄

hbase.cluster.distributed 指定是不是徹底分佈式模式，單機模式和僞分佈式模式須要將該值設爲false

 

hbase.master指定Master的位置

 

hbase.zookeeper.quorum 指定zooke的集羣，多臺機器以逗號分隔

 

4. 編輯配置目錄下面的文件regionservers. 命令：

vi   regionservers    

加入以下內容：

c7004
c7005

再修改Hadoop hdfs-site.xml下的一個屬性值。（記得其餘的datanode也要進行修改）

<property> 　　<name>dfs.datanode.max.xcievers</name> 　　<value>4096</value> </property>

該參數限制了datanode所容許同時執行的發送和接受任務的數量，缺省爲256，hadoop-defaults.xml中一般不設置這個參數。這個限制看來實際有些偏小，高   負載

5. 把Hbase複製到其餘機器，命令以下：

[vagrant@c7003 opt]$ scp -r hbase-1.3.0 vagrant@c7004:/opt/
[vagrant@c7003 opt]$ scp -r hbase-1.3.0 vagrant@c7005:/opt/

6. 在c7003機器開啓hbase服務。命令以下：

啓動順序：先啓動Hadoop-》hbase，若是使用本身安裝的zookeeper啓動順序是：Hadoop-》zookeeper-》hbase

中止順序：hbase->zookeeper->hadoop

[vagrant@c7003 hbase-1.3.0]$ bin/start-hbase.sh  

 

在c700三、c700四、c7005中的任意一臺機器使用bin/hbase shell 進入hbase自帶的shell環境，而後使用命令version等，進行查看hbase信息及創建表等操做。   

至此：

c700一、c700二、c700三、c700四、c7005集羣各個進程狀況以下所示：