大數據學習 HBase

hbase列式分佈式數據庫：

 

結構化數據和非結構化數據

支持實時數據處理

列存儲

水平擴展優秀

HBASE接口：java api ，shell，hive

 

HBASE數據模型：

 

列式存儲在數據分析中效率很高，同一列數據類型相同能夠達到更高的壓縮率；

事務性操做比較多使用傳統   行式存儲；

分析型應用爲主                    列式儲存；

 

master服務器：

分區信息維護和管理、維護region服務器列表、監控region、負責對region進行分配、負載均衡

region服務器：

客戶端存取數據、維護redion

 

hbase三級尋址：

zookeeper -> -ROOT表-> .META->用戶數據表

 

hbase安裝：

僞分佈式：

hbase-site.xml文件

  <property>
   <name>hbase.cluster.distributed</name>  #是否爲分佈式
   <value>true</value>
   </property>

   <property>
       <name>hbase.rootdir</name>
       <value>hdfs://weide:8020/hbase</value>  #hbase共享目錄，持久化hbase數據
   </property>

   <property>
       <name>hbase.master.port</name>   #hbasemaster的主機和端口
       <value>weide:16000</value>
  </property>

  <property>
  <name>hbase.master.maxclockskew</name>     #時間同步容許的時間差
  <value>180000</value>
  </property>

  <property>
  <name>hbase.zookeeper.quorum</name>  #zookeeper地址，內置zookeeper進程名HQuorumPeer
  <value>weide</value>
  </property>

    <property>
       <name>hbase.zookeeper.property.dataDir</name>  #zookeeper配置信息快照的位置，須要本身建立
       <value>/home/hadoop/tmp/zookeeperdata</value>
    </property>

hbase-env.sh文件，修改jdk位置、hadoop配置文件位置、zookeeper是否使用內置的；

regionservers文件 修改hbase從機器主機地址

一主多從模式：

 

java api：

 

hbase shell 增刪改查：

增：put 'sinaNews','444','info1:title','weide'

刪：

改：

查：

單條查根據列名   scan 'sina',{COLUMNS => ['info2:type'] }

根據行名 get 'sina','258'

全表掃描、

過濾器

 

上傳數據：Dimportcsv方式

1.如今hbase建表

2./hbase org.apache.hadoop.hbase.mapreduce.ImportTsv  -Dimporttsv.separator="," -Dimporttsv.columns=HBASE_ROW_KEY,info1:data,info1:source,info2:title,info1:type,info2:body,info1:url sinanews /weide/csv3.txt

 

 

mapreduce操做hbase: