安裝sqoop

安裝sqoop
1.默認已經安裝好java+hadoop
2.下載對應hadoop版本的sqoop版本
3.解壓安裝包
    tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
4.配置環境變量(/etc/profile)
    #sqoop
    export SQOOP_HOME=/opt/sqoop
    export PATH=$PATH:$SQOOP_HOME/bin
    保存退出
    source /etc/profile
5.修改配置文件(sqoop-env.sh/sqoop-site.xml/sqoop)
    1.複製配置文件模板
        cd /opt/sqoop-1.4.6/conf
        cp sqoop-site-template.xml sqoop-site.xml
        cp sqoop-env-template.sh sqoop-env.sh
        
        ####sqoop-env.sh####
        export HADOOP_COMMON_HOME=/opt/hadoop-2.5.2
        
        ####sqoop-site.xml####
        無需配置 但須有此文件
        
        ####bin/sqoop####
        最後一行須要改爲  注意sqoop-1.4.6.jar 爲lib目錄下的包
        exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.6.jar org.apache.sqoop.Sqoop "$@"
6.添加jar包
    1.添加關係型數據庫jdbc jar包 到 lib 目錄下
        cp mysql-connector-java-5.1.21.jar /opt/sqoop-1.4.6/lib
7.驗證
    sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root  //注意此時需保證mysql鏈接正常。否則報錯  無報錯顯示出數據庫則表示安裝成功
8.經常使用命令
    1.顯示
        sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root  //顯示數據庫
        sqoop list-tables --connect jdbc:mysql://192.168.22.1/test --username root --password root    //顯示數據表
    2.hdfs導出到mysql
        sqoop export --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '\t' 
                     --export-dir /access/part-m-00000 //需保證導出表已建立並字段跟存儲文件一致  注意字段分隔符
    3.mysql導入到hdfs
        sqoop import --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by '\001' 
                     --lines-terminated-by '\n' --target-dir /access -m 1 //無主鍵時需加 -m 1 否則報錯 /access在hdfs需不存在 注意字段分隔符