hbase集羣間數據遷移

HBase遷移數據方案一（集羣互聯）


1、須要在hbase集羣停掉的狀況下遷移

步驟：
(1)執行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"

(2)在new cluster執行./hbase org.jruby.Main add_table.rb /hbase/table20111222，將拷貝來的表加入到.MEAT.中（會出現region的數目不一致的問題，這個須要重啓hase才能解決）

說明：(1)filelist爲hdfs上的列表文件，內容以下：

/hbase/table20111222

/hbase/table20120131

(2)若是兩個集羣的hadoop版本不一致，須要在new cluster上執行hadoop distcp，不然會出現讀寫異常；

2、在集羣運行的時候進行數據遷移

一、Replication：
這個是動態的備份（能夠理解爲實時備份）

步驟：
(1)在old cluster將須要遷移的表屬性進行修改：

disable 'your_table'

alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}

enable 'your_table'

(2)打開new cluster集羣的replication，修改hbase-site.xml

<property>

<name>hbase.replication</name>

<value>true</value>

</property>

(3)添加peer，在new cluster的hbase shell中執行：add_peer '1','old cluster ip:2181:/hbase'，啓動replication，執行start_replication

說明：須要兩個集羣的hadoop版本一致，不然出現讀寫錯誤

二、CopyTable：
能夠在本集羣中拷貝一張表，也能夠將表拷貝到其餘的集羣中。

命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test

說明：(1)拷貝完成，不須要重啓機器，在new cluster中就能夠看到該表;

(2)穩定性還須要考慮，測試過程當中遇到一個問題，拷貝過程當中始終都停留在這裏Lookedup root region location, 查看日誌沒有什麼錯誤和相關的信息。


三、Export and Import

步驟：
(1)在old cluster上執行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test

(2)在new cluster上執行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test

說明：
(1)必定要寫全路徑，不能寫相對路勁;

(2)在import前，須要將表事先在new cluster中建立好.

以上都是在old cluster和new cluster網絡相通的狀況下實現數據遷移的辦法。



HBase遷移數據方案二（兩個集羣不能通訊）

兩個能夠直接通訊的集羣之間很容易拷貝數據從而遷移HBase數據。

可是若是兩個集羣在不一樣的網絡，無法通訊呢？

今天測試了一個方案：

把某個表(table1)從集羣1遷移到集羣2（兩個集羣互相看不見），步驟以下

一、拷貝集羣1的表文件到本地磁盤 :

/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1  

二、對於文件操做，很簡單吧，隨便你怎麼去拷貝來拷貝去

三、若是集羣2中也有對應的表文件，那麼刪除掉，而後拷貝

/app/cloud/hadoop/bin/hadoop fs -rmr /hbase/table1   
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1  

四、重置該表在.META.表中的分區信息
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1  
另外：

一、若是表的數據量過大呢？ 那麼按照該表在HDFS中的文件夾數據，分批拷貝。

二、若是兩個集羣能夠互相通訊呢？採用第一種方案便可