ApacheCN | apache中文網linux
hive命令的3種調用方式 sql
官網地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Cli(可參考)shell
方式1:hive –f /root/shell/hive-script.sql(適合多語句)數據庫
hive-script.sql相似於script同樣,直接寫查詢命令就行apache
例如:bash
[root@cloud4 shell]# vi hive_script3.sqloop
select * from t1;性能
select count(*) from t1;ui
不進入交互模式,執行一個hive script spa
這裏能夠和靜音模式-S聯合使用,經過第三方程序調用,第三方程序經過hive的標準輸出獲取結果集。
$HIVE_HOME/bin/hive -S -f /home/my/hive-script.sql (不會顯示mapreduct的操做過程)
那麼問題來了:如何傳遞參數呢?
demo以下:
start_hql.sh 內容:
#!/bin/bash
# -S 打印輸出mapreduce日誌
hive \
-hivevar id=1 \
-hivevar col2=2 \
-S -f test.sql
test.sql 內容:
-- 數據庫
use tmp;
-- 表名
select *
from tmp_jzl_20140725_test11
where
id='${hivevar:id}' and col2='${hivevar:col2}';
方式2:hive -e 'sql語句'(適合短語句)
直接執行sql語句
例如:
[root@cloud4 shell]# hive -e 'select * from t1'
靜音模式:
[root@cloud4 shell]# hive -S -e 'select * from t1' (用法與第一種方式的靜音模式同樣,不會顯示mapreduce的操做過程)
此處還有一亮點,用於導出數據到linux本地目錄下
例如:
[root@cloud4 shell]# hive -e 'select * from t1' > test.txt
有點相似pig導出分析結果同樣,都挺方便的
方式3:hive (直接使用hive交互式模式)
都挺方便的
介紹一種有意思的用法:
1.sql的語法
#hive 啓動
hive>quit; 退出hive
hive> show databases; 查看數據庫
hive> create database test; 建立數據庫
hive> use default; 使用哪一個數據庫
hive>create table t1 (key string); 建立表
對於建立表咱們能夠選擇讀取文件字段按照什麼字符進行分割
例如:
hive>create table t1(id ) '/wlan'
partitioned by (log_date string) 表示經過log_date進行分區
row format delimited fields terminated by '\t' 表示表明用‘\t’進行分割來讀取字段
stored as textfile/sequencefile/rcfile/; 表示文件的存儲的格式
存儲格式的參考地址:http://blog.csdn.net/yfkiss/article/details/7787742
textfile 默認格式,數據不作壓縮,磁盤開銷大,數據解析開銷大。
可結合Gzip、Bzip2使用(系統自動檢查,執行查詢時自動解壓),但使用這種方式,hive不會對數據進行切分,從而沒法對數據進行並行操做。
實例:
[plain] view plaincopy
> create table test1(str STRING)
> STORED AS TEXTFILE;
OK
Time taken: 0.786 seconds
#寫腳本生成一個隨機字符串文件,導入文件:
> LOAD DATA LOCAL INPATH '/home/work/data/test.txt' INTO TABLE test1;
Copying data from file:/home/work/data/test.txt
Copying file: file:/home/work/data/test.txt
Loading data to table default.test1
OK
Time taken: 0.243 seconds
SequenceFile是Hadoop API提供的一種二進制文件支持,其具備使用方便、可分割、可壓縮的特色。
SequenceFile支持三種壓縮選擇:NONE, RECORD, BLOCK。 Record壓縮率低,通常建議使用BLOCK壓縮。
示例:
[plain] view plaincopy
> create table test2(str STRING)
> STORED AS SEQUENCEFILE;
OK
Time taken: 5.526 seconds
hive> SET hive.exec.compress.output=true;
hive> SET io.seqfile.compression.type=BLOCK;
hive> INSERT OVERWRITE TABLE test2 SELECT * FROM test1;
rcfile是一種行列存儲相結合的存儲方式。首先,其將數據按行分塊,保證同一個record在一個塊上,避免讀一個記錄須要讀取多個block。其次,塊數據列式存儲,有利於數據壓縮和快速的列存取。RCFILE文件示例:
實例:
[plain] view plaincopy
> create table test3(str STRING)
> STORED AS RCFILE;
OK
Time taken: 0.184 seconds
> INSERT OVERWRITE TABLE test3 SELECT * FROM test1;
總結:
相比textfile和SequenceFile,rcfile因爲列式存儲方式,數據加載時性能消耗較大,可是具備較好的壓縮比和查詢響應。數據倉庫的特色是一次寫入、屢次讀取,所以,總體來看,rcfile相比其他兩種格式具備較明顯的優點。
hive>show tables; 查看該數據庫中的全部表
hive>show tables ‘*t*’; //支持模糊查詢
hive>show partitions t1; //查看錶有哪些分區
hive>drop table t1 ; 刪除表
hive不支持修改表中數據,可是能夠修改表結構,而不影響數據
有local的速度明顯比沒有local慢:
hive>load data inpath '/root/inner_table.dat' into table t1; 移動hdfs中數據到t1表中
hive>load data local inpath '/root/inner_table.dat' into table t1; 上傳本地數據到hdfs中
hive> !ls; 查詢當前linux文件夾下的文件
hive> dfs -ls /; 查詢當前hdfs文件系統下 '/'目錄下的文件
但願經過共享本身的筆記,來找到一羣和我同樣願意分享筆記和心得的朋友,讓你們一塊兒進步
個人QQ:529815144,外號:小頭