HBase-MapReduce

官方 HBase-MapReduce

1．查看 HBase 的 MapReduce 任務的執行

[lxl@hadoop102 hbase]$ bin/hbase mapredcp

 

2．環境變量的導入

（1）執行環境變量的導入（臨時生效，在命令行執行下述操做）

$ export HBASE_HOME=/opt/module/hbase
$ export HADOOP_HOME=/opt/module/hadoop-2.7.2
$ export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`

 

（2）永久生效：在/etc/profile 配置

export HBASE_HOME=/opt/module/hbase
export HADOOP_HOME=/opt/module/hadoop-2.7.2

 

並在 hadoop-env.sh 中配置：（注意：在 for 循環以後配）

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/module/hbase/lib/*

 

 分發：

[lxl@hadoop102 hadoop-2.7.2]$ xsync etc/hadoop/hadoop-env.sh 

 

 

 

3．運行官方的 MapReduce 任務

-- 案例一：統計 Student 表中有多少行數據

[lxl@hadoop102 hbase]$ /opt/module/hadoop-2.7.2/bin/yarn jar lib/hbase-server-1.3.1.jar rowcounter student

 

-- 案例二：使用 MapReduce 將本地數據導入到 HBase

1）在本地建立一個 tsv 格式的文件：fruit.tsv 

[lxl@hadoop102 hbase]$ vi fruit.tsv

 

1001    Apple    Red
1002    Pear    Yellow
1003    Pineapple    Yellow

 

2）建立 HBase 表

hbase(main):001:0> create 'fruit','info'

 

3）在 HDFS 中建立 input_fruit 文件夾並上傳 fruit.tsv 文件

$ /opt/module/hadoop-2.7.2/bin/hdfs dfs -put fruit.tsv /

 

4）執行 MapReduce 到 HBase 的 fruit 表中

[lxl@hadoop102 hbase]$ /opt/module/hadoop-2.7.2/bin/yarn jar lib/hbase-server-1.3.1.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit hdfs://hadoop102:9000/fruit.tsv

 

5）使用 scan 命令查看導入後的結果

hbase(main):004:0> scan "fruit"
ROW                        COLUMN+CELL                                                                
 1001                      column=info:color, timestamp=1560441335521, value=Red                      
 1001                      column=info:name, timestamp=1560441335521, value=Apple                     
 1002                      column=info:color, timestamp=1560441335521, value=Yellow                   
 1002                      column=info:name, timestamp=1560441335521, value=Pear                      
 1003                      column=info:color, timestamp=1560441335521, value=Yellow                   
 1003                      column=info:name, timestamp=1560441335521, value=Pineapple