HBase導入SQL Server數據庫數據

在先前的幾篇隨筆中已經介紹了Hadoop、Zookeeper、Hbase的分佈式框架搭建方案，目前已經搭建完成了一個包含11個節點的分佈式集羣。而對於HBase數據庫的使用僅限於測試性質的增刪改查指令，爲了進一步熟悉分佈式框架的使用，本文介紹將已有的數據從關係型數據庫SQL Server中導入到HBase中的方法。

要完成從關係型數據庫到HBase數據的遷移，咱們須要使用Sqoop工具，Sqoop是Apache的一個獨立項目，設計目的便是在Hadoop(Hive)和傳統數據庫（MySQL、postgresql）之間進行數據的傳遞。Sqoop工具基於數據倉庫工具Hive，經過Hive來將數據查詢轉換成MapReduce任務實現數據的傳遞。所以，要完成本次數據的遷移，咱們須要如下幾個準備：

　　①Hive：apache-hive-2.1.1-bin.tar.gz

　　②Sqoop：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

　　③JDBC for SQL Server：sqljdbc_3.0.1301.101_enu.tar.gz

　　④Connector between SQL Server and Sqoop：sqoop-sqlserver-1.0.tar.gz

======================如下全部操做均在Master主機上而且以root用戶執行======================

一、安裝Hive

　　①創建hive目錄

　　　　cd /home

　　　　mkdir hive

　　②解壓安裝包（安裝包移至/home/hive下）

　　　　tar -zxvf apache-hive-2.1.1-bin.tar.gz

　　③設置環境變量

　　　　vi /etc/profile

　　　　追加如下：

　　　　　　export HIVE_HOME=/home/hive/apche-hive-2.1.1-bin

　　　　　　export PATH=$HIVE_HOME/bin:$PATH

　　　　　　export PATH

　　　　追加如下：

　　　　　　export HCAT_HOME=$HIVE_HOME/hcatalog

　　④使配置生效

　　　　source /etc/profile

 

二、安裝sqoop

　　①創建sqoop目錄

　　　　cd /home

　　　　mkdir sqoop

　　②解壓安裝包（安裝包移至/home/sqoop下）

　　　　tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

　　③設置環境變量

　　　　vi /etc/profile

　　　　追加如下：

　　　　　　export SQOOP_HOME=/home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha

　　　　　　export SQOOP_CONF_DIR=$SQOOP_HOME/conf

　　　　　　export PATH=$SQOOP_HOME/bin:$PATH

　　　　　　export PATH

　　④使配置生效

　　　　source /etc/profile

 

三、配置JDBC

　　①解壓（位置隨意）

　　　　tar -zxvf sqljdbc_3.0.1301.101_enu.atr.gz

　　②複製jdbc到sqoop下

　　　　cp sqljdbc_3.0/enu/sqljdbc4.jar /home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib

 

四、配置SQL Server sqoop Connector

　　①解壓（位置隨意，這裏是/home）

　　　　tar -zxvf sqoop-sqlserver-1.0.tar.gz

　　②設置環境變量

　　　　vi /etc/profile

　　　　追加如下：

　　　　　　export MSSQL_CONNECTOR_HOME=/home/sqoop-sqlserver-1.0/

　　　　配置生效：

　　　　　　source /etc/profile

　　③配置到sqoop

　　　　cd sqoop-sqlserver-1.0

　　　　./install.sh

 

五、 配置sqoop

　　存在這部分工做的緣由是sqoop的默認配置會有一些咱們不須要用到的東西，在其配置文件$SQOOP_HOME/bin/configure-sqoop文件中，定義了許多須要預先配置的參數與環境，有些咱們已經配置完成，可是另外有些是不須要用到的（目前還沒意識到有什麼做用），所以，爲了防止運行時檢查配置不經過，咱們直接的處理辦法就是取消這部分的配置檢查。

　　註釋ACCUMULO相關配置：在configure-sqoop文件中，註釋掉與ACCUMULO_HOME相關的全部命令行，並保存退出。

 

六、目前的環境變量

　　值得注意的是，以前並無加入HBase的環境變量，在這裏是須要把HBase相關的環境變量加入的。

# /etc/profile

# System wide environment and startup programs, for login setup
# Functions and aliases go in /etc/bashrc

# It's NOT a good idea to change this file unless you know what you
# are doing. It's much better to create a custom.sh shell script in
# /etc/profile.d/ to make custom changes to your environment, as this
# will prevent the need for merging in future updates.

pathmunge () {
    case ":${PATH}:" in
        *:"$1":*)
            ;;
        *)
            if [ "$2" = "after" ] ; then
                PATH=$PATH:$1
            else
                PATH=$1:$PATH
            fi
    esac
}


if [ -x /usr/bin/id ]; then
    if [ -z "$EUID" ]; then
        # ksh workaround
        EUID=`id -u`
        UID=`id -ru`
    fi
    USER="`id -un`"
    LOGNAME=$USER
    MAIL="/var/spool/mail/$USER"
fi

# Path manipulation
if [ "$EUID" = "0" ]; then
    pathmunge /sbin
    pathmunge /usr/sbin
    pathmunge /usr/local/sbin
else
    pathmunge /usr/local/sbin after
    pathmunge /usr/sbin after
    pathmunge /sbin after
fi

HOSTNAME=`/bin/hostname 2>/dev/null`
HISTSIZE=1000
if [ "$HISTCONTROL" = "ignorespace" ] ; then
    export HISTCONTROL=ignoreboth
else
    export HISTCONTROL=ignoredups
fi

export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL

# By default, we want umask to get set. This sets it for login shell
# Current threshold for system reserved uid/gids is 200
# You could check uidgid reservation validity in
# /usr/share/doc/setup-*/uidgid file
if [ $UID -gt 199 ] && [ "`id -gn`" = "`id -un`" ]; then
    umask 002
else
    umask 022
fi

for i in /etc/profile.d/*.sh ; do
    if [ -r "$i" ]; then
        if [ "${-#*i}" != "$-" ]; then
            . "$i"
        else
            . "$i" >/dev/null 2>&1
        fi
    fi
done

unset i
unset -f pathmunge

export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.131.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

#hadoop
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin

#zookeeper
export ZOOKEEPER_HOME=/home/zookeeper/zookeeper-3.4.6/
export PATH=$ZOOKEEPER_HOME/bin:$PATH
export PATH

#HBase
export HBASE_HOME=/home/hbase/hbase-1.2.4
export PATH=$HBASE_HOME/bin:$PATH
export PATH

#hive
export HIVE_HOME=/home/hive/apache-hive-2.1.1-bin
export PATH=$HIVE_HOME/bin:$PATH
export PATH

export HCAT_HOME=$HIVE_HOME/hcatalog

#sqoop
export SQOOP_HOME=/home/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export SQOOP_CONF_DIR=$SQOOP_HOME/conf
export PATH=$SQOOP_HOME/bin:$PATH
export PATH

export MSSQL_CONNECTOR_HOME=/home/sqoop-sqlserver-1.0/

 

七、數據遷移實驗

　　在執行遷移命令以前，須要在Hbase中創建好對應的表

　　　　#hbase shell

　　進入hbase shell後執行

　　　　>create 'test', 'cf'

　　而後在Terminal中執行

　　　　#sqoop import --connect 'jdbc:sqlserver://<IP Address>;username=<username>;password=<password>;database=<database>' --table <sql server table name> --hbase-table <hbase table name> --column-family <hbase table column family name> --hbase-row-key <sql server table primary key> 

　　須要注意：

　　　　①若是SQL Server的表是正常的單一主鍵的表結構，那麼能夠直接指定hbase-row-key執行上述命令，此時該命令會默認以多個mapreduce任務執行該指令

　　　　②若是SQL Server的表是聯合主鍵，那麼這樣導入就會存在一個問題，沒法根據主鍵分解查詢任務，也就沒有辦法進行MapReduce，那麼此時必須指定參數 '-m 1'只用一個mapreduce任務

　　　　③針對沒有主鍵的狀況，若數據量巨大，必須分爲多個mapreduce任務，那麼須要找到一個拆分字段，從而hive能夠根據該字段拆分任務。此時咱們須在導入指令中添加'--split-by <id>'

　　在我實際的操做中，SQL Server中的表結構是聯合主鍵，第一次導入表中100條數據記錄，根據這篇博客的介紹，配置了$SQOOP_HOME/conf/sqoop-site.xml，我指定了'--hbase-row-key <id1>,<id2>'，並指定'-m 1'，導入數據成功。（耗時22sec）

　　

　　第二次嘗試將數據庫中的近160W條數據記錄導入到HBase中，添加參數'--split-by <id>'，並指定'-m 12'，數據一樣導入成功。（耗時17min25sec）

　　

 

八、存在問題

　　對sqoop拆分任務的理解仍然不夠深刻，本身完成的實驗雖然成功，可是並無作對比實驗肯定真正的影響因素

 

九、參考文章

　　Sqoop User Guide (v1.4.6)

　　利用SQOOP將數據從數據庫導入到HDFS - 我喂本身袋鹽 - 博客頻道 - CSDN.NET

　　Sqoop將SQLServer數據導入HBase - nma_123456的專欄 - 博客頻道 - CSDN.NET

　　Centos　利用sqoop從sqlserver導入數據到HDFS或Hive - 王偉挺的專欄 - 博客頻道 - CSDN.NET

　　sqoop並行導入數據 - 東傑書屋 - 博客頻道 - CSDN.NET

　　sqoop針對聯合主鍵的表導入hbase的簡單控制技巧 - 黃剛的技術博客 - 博客頻道 - CSDN.NET

　　

 

 

 

 

 

 

 

參考連接