Sqoop的安裝與Mysql的數據導入到hdfs框架中

Sqoop簡介

Sqoop(發音：skup)是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞，能夠將一個關係型數據庫（例如 ： MySQL ,Oracle ,Postgres等）中的數據導進到Hadoop的HDFS中，也能夠將HDFS的數據導進到關係型數據庫中。

Sqoop項目開始於2009年，最先是做爲Hadoop的一個第三方模塊存在，後來爲了讓使用者可以快速部署，也爲了讓開發人員可以更快速的迭代開發，Sqoop獨立成爲一個Apache項目。

Sqoop下載

最新的官方版本爲1.4.7下載地址以下

http://mirror.bit.edu.cn/apache/sqoop/1.4.7/

解壓

 tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

 mv  sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz sqoop

配置環境變量

export SQOOP_HOME=/home/ubuntu/sqoop

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$SQOOP_HOME/bin
 

cd  sqoop/conf

cp sqoop-env-template.sh sqoop-env.sh

測試數據庫鏈接

sqoop list-databases --connect jdbcUrl --username test --password 'test'

導入數據到hdfs中

sqoop import jdbcUrl --username 用戶名  --password '密碼' --table 表名 --columns "user_name,phone" --target-dir /test -m 1