HBase協處理器加載的三種方式

本文主要給你們羅列了HBase協處理器加載的三種方式：Shell加載（動態）、Api加載（動態）、配置文件加載（靜態）。其中靜態加載方式須要重啓HBase。

咱們假設咱們已經有一個現成的須要加載的協處理器Jar包：HelloCoprocessor-0.0.1.jar。

協處理器加載的三種方式

Shell加載

1. 上傳HDFS

將打包好的HelloCoprocessor-0.0.1.jar上傳服務器，而後放到HDFS上。

# 切換hadoop用戶，建立演示目錄
$ hdfs dfs -mkdir /usr/hbase/coprocessor
$ hdfs dfs -put HelloCoprocessor-0.0.1.jar /usr/hbase/coprocessor

2. Shell 加載協處理器

咱們假設其協處理器類的包名爲：
org.myname.hbase.Coprocessor.RegionObserverExample
Shell 操做以下：

hbase> disable 'mytable' # 禁用表，可選
hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'
hbase> enable 'mytable' # 禁用表後啓用表，可選

結構以下：

hbase> alter 'mytable', METHOD => 'table_att', 'coprocessor' => ①|②|③|④'

解釋下上面各個參數：
①：協處理器Jar包路徑，要保證全部的RegionServer可讀取到。也能夠是本地路徑，不過建議是放在HDFS上。
②：協處理器的完整類名。
③：協處理器優先級，整數表示。能夠爲空。
④：傳遞給協處理器的參數，能夠爲空。

注：各參數間不要有空格。

3. 驗證是否加載協處理器

hbase> desc 'mytable'

Table mytable is ENABLE
mytable, {TABLE_ATTRIBUTES => {coprocessor$1 => '/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar'|org.myname.hbase.Coprocessor.RegionObserverExample|1001|arg1=1,arg2=2'}}

此驗證不保證協處理器能正常工做：shell命令既不保證特定位置存在jar文件，也不驗證給定類是否實際包含在jar文件中。

4. 卸載協處理器

hbase> disable 'mytable' # 禁用表，可選
hbase> alter 'mytable', METHOD => 'table_att_unset', NAME => 'coprocessor$1'
hbase> enable 'mytable' # 禁用表後啓用表，可選

坑：在沒有重啓HBase狀況下，若是修改協處理器代碼並從新加載協處理器，請重命名協處理器Jar包的名字，不然不會生效。（因爲當前JVM引用了現有的協處理器，所以必須經過從新啓動RegionServer來從新啓動JVM，以便替換它。）

Api 加載

具體方法是調用HtableDescriptor的addCoprocessor方法。該方法有兩個重載方法：

• addCoprocessor(String className)
• addCoprocessor(className,jarPath,priority,kvs)
  第二個重載方法提供了上述Shell中所需的各個參數①②③④，方法一則須要用戶手動將jar包分發到各個RegionServer的lib目錄下。

示例代碼以下：

TableName tableName = TableName.valueOf("mytable");
Path path = new Path("hdfs://<namenode>:<port>/usr/hbase/coprocessor/HelloCoprocessor-0.0.1.jar");
Configuration conf = HBaseConfiguration.create();
Connection connection = ConnectionFactory.createConnection(conf);
Admin admin = connection.getAdmin();
admin.disableTable(tableName);
HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);
HColumnDescriptor columnFamily1 = new HColumnDescriptor("f1");
columnFamily1.setMaxVersions(1);
hTableDescriptor.addFamily(columnFamily1);
HColumnDescriptor columnFamily2 = new HColumnDescriptor("f2");
columnFamily2.setMaxVersions(3);
hTableDescriptor.addFamily(columnFamily2);
hTableDescriptor.addCoprocessor('org.myname.hbase.Coprocessor.RegionObserverExample', path,
Coprocessor.PRIORITY_USER, null);
admin.modifyTable(tableName, hTableDescriptor);
admin.enableTable(tableName);

從新加載表定義，無需使用addCoprocessor()方法設置協處理器的值。這將刪除附加到表的任何協處理器。

配置文件加載

1. 修改配置文件：hbase-site.xml，配置項以下：

1.1 RegionObservers/Endpoints

<property>
    <name>hbase.coprocessor.region.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property>

1.2 WALObservers

<property>
    <name>hbase.coprocessor.wal.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property>

1.3 MasterObservers

<property>
    <name>hbase.coprocessor.master.classes</name>
    <value>org.myname.hbase.Coprocessor.RegionObserverExample</value> 
</property>

若是想同時配置多個協處理器，能夠用逗號分隔多個協處理器的類名。

2. 添加Jar包

將您的代碼放在HBase的類路徑上。一種簡單的方法是將jar（包含代碼和全部依賴項）放入HBase的安裝目錄lib/中。

3. 重啓HBase生效。

4. 靜態卸載

• 從hbase-site.xml中刪除協處理器的 元素，包括子元素。
• 重啓HBase。
• 從類路徑或HBase的lib/目錄中刪除協處理器的JAR文件。（可選）

轉載請註明出處！歡迎關注本人微信公衆號【HBase工做筆記】