sqoop 1.4.4-cdh5.1.2快速入門

1、快速入門
（一）下載安裝
一、下載並解壓
wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz
tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz

二、將sqoop中的命令添加至$PATH中
export PATH=$PATH:/home/jediael/setupfile/sqoop-1.4.4-cdh5.1.2/bin

三、驗證安裝
jediael@jediael:~/setupfile/sqoop-1.4.4-cdh5.1.2/bin$ source /etc/profile
……..
15/05/15 09:47:37 INFO sqoop.Sqoop: Running Sqoop version: 1.4.4-cdh5.1.2
Sqoop 1.4.4-cdh5.1.2
……..

（二）在mysql中準備數據
一、建立數據庫交受權
create database sqoop;
use sqoop;
GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost';


二、建立表
create table widgets(
    id int not null primary key auto_increment,
    widget_name varchar(64) not null,
    price decimal(10,2),
    design_date date,
    version int,
    design_comment varchar(100));

三、插入數據
insert into widgets values(null, 'sprocket', 0.25, '2010-02-10', 1, 'Connects two gizmos');
insert into widgets values(null, 'gizmos', 4.00, '2009-11-30', 4, null);
insert into widgets values(null, 'gadget', 99.99, '193-08-13', 13, 'Our flagship product');    

（三）將mysql中的數據導入hdfs
一、準備jdbc connector，並將之入到sqoop/lib目錄下
wget http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.35.tar.gz
tar -zxvf mysql-connector-java-5.1.35.tar.gz
cp mysql-connector-java-5.1.35-bin.jar ../sqoop-1.4.4-cdh5.1.2/lib/

二、導入數據
sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1

三、查看數據
$ hadoop fs -cat widgets/part-m-00000
15/05/15 10:29:29 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
1,sprocket,0.25,2010-02-10,1,Connects two gizmos
2,gizmos,4.00,2009-11-30,4,null
3,gadget,99.99,0193-08-13,13,Our flagship product

四、import除了將數據導入hdfs中，還在當前目錄生成了widgets.java文件。
還能夠使用如下命令只生成java類，而不進行實際的導入：
sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets --class-name widget



2、sqoop與hive
（一）將數據導入hive
一、若僅須要將mysql中的數據導入sqoop中，則能夠執行如下命令
sqoop import --connect jdbc:mysql://localhost/sqoop --table widgets -m 1 --hive-import
驗證數據：
hive> select * from widgets;
OK
1    sprocket    0.25    2010-02-10    1    Connects two gizmos
2    gizmos    4.0    2009-11-30    4    null
3    gadget    99.99    0193-08-13    13    Our flagship product
Time taken: 1.299 seconds, Fetched: 3 row(s)

二、若須要先將mysql中的數據導入hdfs，再從hdfs中導入hive
（1）將數據導入hdfs：見上面。
（2）建立表
sqoop create-hive-table --connect jdbc:mysql://localhost/sqoop --table widgets --fields-terminated-by ‘,'
這會根據mysql中的表結構直接建立一個hive表。
（3）將hdfs中的數據導入hive中
hive> load data inpath "widgets" into table widgets;
此時數據存儲在/user/hive/warehouse/widgets

（二）在hive中進行數據分析
一、建立hive表，用於保存分析結果
create table widgets_sum(sum int);

二、分析
hive> insert into table widgets_sum select count(1) from  widgets;

（三）將數據導出到mysql 一、在mysql中建立表，用於保存從hive中導出的結果 create table widgets_sum(sum int); 注意，sqoop可以根據mysql的結構自動生成hive表，但反之不行，必須手工建表 二、sqoop export --connect jdbc:mysql://localhost/sqoop -m 1 --table widgets_sum --export-dir /user/hive/warehouse/widgets_sum --input-fields-terminated-by '\0001 異常： 一、若沒執行GRANT ALL PRIVILEGES ON sqoop.* TO ''@'localhost’; 則會出現如下異常： 15/05/15 10:25:28 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO) java.sql.SQLException: Access denied for user ''@'localhost' (using password: NO)