HBASE 1.0.1搭建教程

時間 2019-12-09

標籤 hbase 1.0.1 搭建教程欄目 Hadoop 简体版

原文原文鏈接

安裝前必定要注意版本兼容！html

安裝前必定要注意版本兼容！

重要的話說三遍，參考《HADOOP&HBASE&HIVE整合》中的兼容原則。

因爲以前Hadoop是2.4，親測在Hadoop2.4上hbase1.0.1是能夠工做的。而0.94版本存在兼容性的問題。

配置

全部的配置文件位於附件中，供後來參考。

Hbase和hadoop同樣在master端和slave端都須要配置，操做仍是在master端配好後發送到slave並稍做修改。列一下參考信息：

Master：

hadoop-test1 192.168.70.28(內網地址) 10.58.121.175(外網地址)

Slaver：

hadoop-test2 192.168.70.29(內網地址) 10.58.121.176(外網地址)

過程

1.系統變量配置

2.HBase配置

3.Hadoop配置修改

4.同步系統時間

5.啓動驗證

系統變量配置

hosts中對於IP和名稱，參見Hadoop配置。

在profile中加入解壓後的文件位置（master+slave）

export HBASE_HOME=/usr/hbase-1.0.1
export PATH=$PATH:/usr/hbase-1.0.1/bin

Hbase配置

hbase-env.sh:

按需修改，裏面有每一個配置的說明，這裏僅修改兩項：

export JAVA_HOME=/usr/java/jdk1.7.0_01
export HBASE_MANAGES_ZK=true

其中第二句必定要有，表示使用hbase自帶的zookeeper。

hbase-site.xml:

加入：

<property>
<name>hbase.rootdir</name>
<value>hdfs://192.168.70.28:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hadoop-test2</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/dataDir</value>
</property>
<property>
<name>hbase.master.port</name>
<value>60000</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>

其中rootdir是放在hdfs上的。後面的dataDir位置是在本地。dfs.replication要和hadoop的配置同樣。

zookeeper.quorum是設置集羣的地址列表，只須要寫slave的地址。

60010端口是後面咱們進行驗證的web端口，這裏要寫上。

regionservers：

相似Hadoop的slave文件，寫入slave的IP地址。（沒有則新建）

配好後將hbase文件複製到slave節點，並清空slave的 regionservers內容。

Hadoop配置

在hadoop的hdfs-site.xml中加入：

<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>

說明：該參數限制了datanode所容許同時執行的發送和接受任務的數量，缺省爲256，hadoop-defaults.xml中一般不設置這個參數。這個限制看來實際有些偏小，高負載下，DFSClient 在put數據的時候會報 could not read from stream 的 Exception。

master 和 slave都須要配置。