使用HBaseShellPro操做Hadoop 2系列發行版CDH4.4

前言

對於hadoop,hbase因爲項目緊張緣由好幾個月沒有時間認真的來總結下了,最近有一些空,就來繼續的把項目中用到的一些技術實際的寫出來,動動手,很久沒有寫東西了,都生疏了,提及hadoop,公司還在用相對比較古老的hadoop && hbase 0.20.* 級別的老版本了,這點充分說明日本人不想折騰,能跑的就好,針對企業用戶最主要的是穩定,並且訪問量也不是很大,因此關注的不對,可是對於技術發燒友的我來講,固然想嘗試新的版本的了,從去年開始就一直關注hadoop2 的beta版本,如今雖說發佈了一個穩定版本,可是大部分仍是在沿用老版本,本次說的版本是cloudera公司的 CDH4.4 ,目前最新的穩定版本,本次的目的是想把現有的一些應用遷移到新版本上,而不是在基礎的安裝和了解.

配置CDH4.4

本次不使用安裝版本,就直接用了 cloudra已經打包好的虛擬機系統,我選擇的是virtualbox的分支,由於在mac上virtualbox是免費開源的,目前來看跑的還算能夠. 下載cdh4.4的地址:http://www.cloudera.com/content/support/en/downloads/download-components/download-products.html

下載下來的虛擬機是2.5G,解壓開來就能夠了. 
開起來機器配置不夠的話,仍是感受比較卡的說,這些問題仍是有的. 啓動以後見以下圖:

進入CDH的管理中心頁面: 

賬號和密碼都是 cloudera , cloudera 進去以後就能夠手動啓動 hadoop,hbase了,這裏啓動後下次開機後這些服務將自動啓動了. 

HBase的操做

本次不是用默認自帶的HBase shell, 使用公司(www.bit-ware.co.jp)本身開發的HBashShellPro來進行操做演示. 首先在github上下載HBaseShellPro: 
https://github.com/bit-ware/HBaseShellPro/tree/0.94 使用方法:

$ wget --no-check-certificate https://github.com/bit-ware/HBaseShellPro/archive/0.94.zip $ unzip 0.94 $ mv HBaseShellPro-0.94 HBaseShellPro $ cd HBaseShellPro $ vi /etc/hosts -- add hbase quorum address: 172.17.1.xx namenode $ chmod +x run.rb $ ./run.rb

列出表

con , current node l , list tables

建立表

r 0 , disable readonly mode c tcdh f0 f1 , create table cdh , column family: f0,f1

寫入和讀取測試

put tcdh r1 f0 q0 1 , write row r1 get tcdh r1 , get row r1

結語

本次先寫入到這裏,驗證了環境是正常的. 使用Cloudera的配置環境省去了配置的修改問題,可是要了解整個過程仍是得多讀資料,瞭解實際的組成和系統的流程,以便於更好的瞭解和使用HBase.