HBase 系列（九）——HBase 容災與備份

1、前言

本文主要介紹 Hbase 經常使用的三種簡單的容災備份方案，即CopyTable、Export/Import、Snapshot。分別介紹以下：

2、CopyTable

2.1 簡介

CopyTable能夠將現有表的數據複製到新表中，具備如下特色：

• 支持時間區間 、row 區間 、改變表名稱 、改變列族名稱 、以及是否 Copy 已被刪除的數據等功能；
• 執行命令前，需先建立與原表結構相同的新表；
• CopyTable 的操做是基於 HBase Client API 進行的，即採用 scan 進行查詢, 採用 put 進行寫入。

2.2 命令格式

Usage: CopyTable [general options] [--starttime=X] [--endtime=Y] [--new.name=NEW] [--peer.adr=ADR] <tablename>

2.3 經常使用命令

1. 同集羣下 CopyTable

hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name=tableCopy  tableOrig

1. 不一樣集羣下 CopyTable

# 兩表名稱相同的狀況
hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
--peer.adr=dstClusterZK:2181:/hbase tableOrig

# 也能夠指新的表名
hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
--peer.adr=dstClusterZK:2181:/hbase \
--new.name=tableCopy tableOrig

1. 下面是一個官方給的比較完整的例子，指定開始和結束時間，集羣地址，以及只複製指定的列族：

hbase org.apache.hadoop.hbase.mapreduce.CopyTable \
--starttime=1265875194289 \
--endtime=1265878794289 \
--peer.adr=server1,server2,server3:2181:/hbase \
--families=myOldCf:myNewCf,cf2,cf3 TestTable

2.4 更多參數

能夠經過 --help 查看更多支持的參數

# hbase org.apache.hadoop.hbase.mapreduce.CopyTable --help

3、Export/Import

3.1 簡介

• Export 支持導出數據到 HDFS, Import 支持從 HDFS 導入數據。Export 還支持指定導出數據的開始時間和結束時間，所以能夠用於增量備份。
• Export 導出與 CopyTable 同樣，依賴 HBase 的 scan 操做

3.2 命令格式

# Export
hbase org.apache.hadoop.hbase.mapreduce.Export <tablename> <outputdir> [<versions> [<starttime> [<endtime>]]]

# Inport
hbase org.apache.hadoop.hbase.mapreduce.Import <tablename> <inputdir>

• 導出的 outputdir 目錄能夠不用預先建立，程序會自動建立。導出完成後，導出文件的全部權將由執行導出命令的用戶所擁有。
• 默認狀況下，僅導出給定 Cell 的最新版本，而無論歷史版本。要導出多個版本，須要將 <versions> 參數替換爲所需的版本數。

3.3 經常使用命令

1. 導出命令

hbase org.apache.hadoop.hbase.mapreduce.Export tableName  hdfs 路徑/tableName.db

1. 導入命令

hbase org.apache.hadoop.hbase.mapreduce.Import tableName  hdfs 路徑/tableName.db

4、Snapshot

4.1 簡介

HBase 的快照 (Snapshot) 功能容許您獲取表的副本 (包括內容和元數據)，而且性能開銷很小。由於快照存儲的僅僅是表的元數據和 HFiles 的信息。快照的 clone 操做會從該快照建立新表，快照的 restore 操做會將表的內容還原到快照節點。clone 和 restore 操做不須要複製任何數據，由於底層 HFiles(包含 HBase 表數據的文件) 不會被修改，修改的只是表的元數據信息。

4.2 配置

HBase 快照功能默認沒有開啓，若是要開啓快照，須要在 hbase-site.xml 文件中添加以下配置項：

<property>
    <name>hbase.snapshot.enabled</name>
    <value>true</value>
</property>

4.3 經常使用命令

快照的全部命令都須要在 Hbase Shell 交互式命令行中執行。

1. Take a Snapshot

# 拍攝快照
hbase> snapshot '表名', '快照名'

默認狀況下拍攝快照以前會在內存中執行數據刷新。以保證內存中的數據包含在快照中。可是若是你不但願包含內存中的數據，則能夠使用 SKIP_FLUSH 選項禁止刷新。

# 禁止內存刷新
hbase> snapshot  '表名', '快照名', {SKIP_FLUSH => true}

2. Listing Snapshots

# 獲取快照列表
hbase> list_snapshots

3. Deleting Snapshots

# 刪除快照
hbase> delete_snapshot '快照名'

4. Clone a table from snapshot

# 從現有的快照建立一張新表
hbase>  clone_snapshot '快照名', '新表名'

5. Restore a snapshot

將表恢復到快照節點，恢復操做須要先禁用表

hbase> disable '表名'
hbase> restore_snapshot '快照名'

這裏須要注意的是：是若是 HBase 配置了基於 Replication 的主從複製，因爲 Replication 在日誌級別工做，而快照在文件系統級別工做，所以在還原以後，會出現副本與主服務器處於不一樣的狀態的狀況。這時候能夠先中止同步，全部服務器還原到一致的數據點後再從新創建同步。

參考資料

1. Online Apache HBase Backups with CopyTable
2. Apache HBase ™ Reference Guide

更多大數據系列文章能夠參見 GitHub 開源項目： 大數據入門指南