大數據學習 azkaban，sqoop

azkaban工做流調度器

 

1.解壓 azkaban,server,executor

2.導入腳本，建立數據庫表

3.建立祕鑰，將祕鑰放入server根目錄

4，統一時區

5.配置azkaban.properties,配置user.xml

6.配置executor的azkaban.properties

7.啓動web 服務器，啓動執行服務器

8.https://主機名:8443

9.上傳zip文件，執行

能夠進行bash.hive,hdfs,操做

 

 

sqoop 數據遷移：

hadoop和關係型數據庫之間的 數據傳送

1.配置文件，加入jdbc j ar包

2.

$bin/sqoop import   \

--connect jdbc:mysql://hdp-node-01:3306/test   \

--username root  \

--password root   \

--table emp   \

--m 1    （導入數據的進程的併發數，默認是4）

--target-dir /home (指定位置)

 

導入到hive：（會自動生成hive元數據）

bin/sqoop import

--connect jdbc:mysql://hdp-node-01:3306/test

--username root

--password root

--table emp

--hive-import

--m 1

導入表數據子集：

bin/sqoop import \

--connect jdbc:mysql://hdp-node-01:3306/test \

--username root \

--password root \

--where "city ='sec-bad'" \

--target-dir /wherequery \

--table emp_add --m 1

 

從hdfs中導出數據到mysql：

1.手動在mysql上建對應的表