Hbase 搭建與入門


[資料】( https://github.com/jast90/awesome-learning/issues/1))

Hbase 使用場景和成功案例

  • Hbase是一種數據庫:Hadoop分佈式數據庫
 
  • HBase 應用場景
    -一、用戶畫像
    好比大型的視頻網站,電商平臺產生的用戶點擊行爲、瀏覽行爲等等存儲在HBase中爲後續的智能推薦作數據支撐。
    二、消息/訂單存儲
    這個場景主要應用在電商平臺,由於HBase提供了一個低延時、高併發的訪問能力
    三、對象存儲
    這裏的對象存儲實際是中等對象存儲,是對HDFS存儲文件的一個緩衝過分,由於若是咱們大量的1M或2M這種小文件直接存儲在HDFS上,會對NAMENODE形成元數據維護的壓力,因此在HBase中能夠很好的作過分合並後在持久化到HDFS上。HBase提供了中等對現象的存儲能力,中等對象的大小範圍在100k至10M之間。
    四、時序數據
    這裏的時序數據是指隨着時間而變化的數據,好比速度的展現,天氣、溫度、風速、車流量等等
    五、Cube分析(KyLin)
    經過KyLin將Hive或kafka中的數據,來構建Cube,這些Cube會存儲在HBase中,以供其餘的應用或其餘的系統作實時查詢或實時展現。
    六、Feeds流
    這個場景主要是應用在抖音、或其餘小視頻系統中,能夠把Feeds流理解爲一種內容聚合器,它能夠幫助用戶實時的獲取最新的訂閱源內容。

HBASE 搭建(三個節點都裝)

hbase 安裝包node

# 上傳至node01並解壓
cd /export/softwares
tar -zxvf hbase-2.1.0-bin.tar.gz -C ../servers/
cd ../servers/
# 刪除官方幫助文檔(減小分發時間)
rm -rf docs/
# 修改配置文件

cd /export/servers/hbase-2.1.0/conf

# hbase-site.sh
- 顯示行號
: set nu
- 28
export JAVA_HOME=/export/servers/jdk1.8.0_261
- 125 去掉註釋(表示禁止使用HBase自帶的Zookeeper)
export HBASE_MANAGES_ZK=false

# hbase-site.xml

<configuration>
<!-- 指定HBase數據在HDFS上的存儲路徑 -->
	<property>
	  <name>hbase.rootdir</name>
	  <value>hdfs://node01:8020/hbase</value>
	</property>
<!-- 設置hbase模式爲集羣模式 -->
	<property>
	  <name>hbase.cluster.distributed</name>
	  <value>true</value>
	</property>
<!-- Master綁定的端口,包括backup-master -->
	<property>
	  <name>hbase.master.port</name>
	  <value>16000</value>
	</property>
<!-- 指定HBase數據在HDFS上的存儲路徑 -->
	<property>
	  <name>hbase.zookeeper.quorum</name>
	  <value>node01:2181,node02:2181,node03:2181</value>
	</property>
<!-- 設置ZK數據存放目錄 -->
	<property>
	  <name>hbase.zookeeper.property.dataDir</name>
	  <value>/export/servers/zookeeper-3.4.9/zkdatas</value>
	</property>
<!-- 屬性爲全部新建的列指定一個全局的默認的最大版本數 -->
	<property>
	  <name>hbase.column.max.version</name>
	  <value>3</value>
	</property>
</configuration>
# 修改第三個配置文件 regionservers
cd /export/servers/hbase-2.1.0/conf
 vim regionservers
改成:
node01
node02
node03
# 建立 backup-masters配置文件,實現 HMaster 的高可用
cd /export/servers/hbase-2.1.0/conf
vim backup-masters
寫入
node02
# 軟件包分發
scp -r hbase-2.1.0/ node02:$PWD
scp -r hbase-2.1.0/ node03:$PWD
# 三臺機器建立軟鏈接(拷貝原文件,並隨着原文件的變更而變更)
ln -s /export/servers/hadoop-2.7.5/etc/hadoop/core-site.xml /export/servers/hbase-2.1.0/conf/core-site.xml
ln -s /export/servers/hadoop-2.7.5/etc/hadoop/hdfs-site.xml /export/servers/hbase-2.1.0/conf/hdfs-site.xml
# home環境變量配置
vim /etc/profile

export HBASE_HOME=/export/servers/hbase-2.1.0
export PATH=:$HBASE_HOME/bin:$PATH

source /etc/profile
# hbase 集羣啓動

cd /export/servers/hbase-2.1.0/bin
start-hbase.shgit

 

頁面訪問
http://node01:16010/master-statusgithub

![](https://img2020.cnblogs.com/blog/1044397/202008/1044397-20200803122437486-987339975.png)

#
相關文章
相關標籤/搜索