sqoop學習

時間 2021-04-13

標籤 php mysql sql 數據庫 bash 併發 ide oop 大數據 spa 欄目 PHP 简体版

原文原文鏈接

如下爲生產環境的sqoop配置php

一.登陸Mysql,建立數據庫和表,以及插入數據。mysql

1.1建立數據庫sql

create database  mydb;

1.2建立表數據庫

use  mydb;
CREATE TABLE emp(
id INT NOT NULL,
name VARCHAR(100),
deg VARCHAR(100),
salary BIGINT,
dept VARCHAR(50)
);
CREATE TABLE empp(
id INT NOT NULL,
name VARCHAR(100),
deg VARCHAR(100),
salary BIGINT,
dept VARCHAR(50)
);

1.3插入數據bash

insert into emp values(1201,'gopal','manager','50000','TP');
insert into emp values(1202,'manisha','Proof reader','50000','TP');
insert into emp values(1203,'khalil','php dev','30000','AC');
insert into emp values(1204,'prasanth','php dev','30000','AC');
insert into emp values(1205,'kranthi','admin','20000','TP');
insert into empp values(12011,'gopal','manager','50000','TP');
insert into empp values(12022,'manisha','Proof reader','50000','TP');
insert into empp values(12033,'khalil','php dev','30000','AC');
insert into empp values(12044,'prasanth','php dev','30000','AC');
insert into empp values(12055,'kranthi','admin','20000','TP');

二.######sqoop import 從數據庫導入到Hive併發

通常RDBMS的導出速度控制在60~80MB/s，每一個 map 任務的處理速度5~10MB/s 估算，即 -m 參數通常設置4~8，表示啓動 4~8 個map 任務併發抽取 ##最好不要超過6個ide

#sqoop  首先要kinit 才能夠 若是是hive 要有hive的權限 若是是hdfs 要有acl的權限 否則沒法寫入和讀取
kint user/user  -kt  /opt/user.keytab    
username='admin'
psd='123456'
table=('emp' 'empp')
for mysql_table in ${table[@]}
do
sqoop import \
--connect jdbc:mysql://192.168.10.41:3307/mydb \
--username ${username} \
--password  ${psd} \
--table  ${mysql_table} \
--hive-import \
--hive-drop-import-delims \
--hive-database emp \
--hive-table mysql_${mysql_table} \
--fields-terminated-by '\t' \
--m 6 \
--delete-target-dir \
--null-string '\\N' \
--null-non-string '\\N'
done

三.######sqoop export 從Hive導入到大數據
oop

kint user/user  -kt  /opt/user.keytab
username='admin'
psd='123456'
table=('emp' 'empp')
for mysql_table in ${table[@]}
do
sqoop export \
--connect jdbc:mysql://192.168.10.40:3307/mydb \
--username ${username} \
--password  ${psd} \
--table  ${mysql_table} \
--export-dir '/user/hive/warehouse/mydb.db/'mysql_${mysql_table} \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--fields-terminated-by '\t' \
--input-fields-terminated-by '\t' \
--m 6
done

四.Sqoop參數大全大數據

如下截圖引用自(感謝博主本身截圖方便本身查看)：spa

https://blog.csdn.net/young_0609/article/details/107376183?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-0&spm=1001.2101.3001.4242