Hive使用必知必會系列
1、Hive的幾種數據模型
內部表 (Table 將數據保存到Hive 本身的數據倉庫目錄中：/usr/hive/warehouse)java
外部表 (External Table 相對於內部表，數據不在本身的數據倉庫中，只保存數據的元信息)node
分區表 (Partition Table將數據按照設定的條件分開存儲，提升查詢效率，分區-----> 目錄)正則表達式
桶表 (Bucket Table本質上也是一種分區表，相似 hash 分區 桶 ----> 文件)數據庫
視圖表 (視圖表是一個虛表，不存儲數據，用來簡化複雜的查詢)express
注意:內部表刪除表後數據也會刪除，外部表數據刪除後不會從hdfs中刪除vim
1. 內部表/管理表
每個Table在Hive中都有一個相應的目錄存儲數據數組
全部的Table數據都存儲在該目錄安全
# 建立表
create table if not exists aiops.appinfo (
appname string,
level string,
leader string,
appline string,
dep string,
ips array<string>)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
COLLECTION ITEMS TERMINATED BY ',';
# 自定義文件和記錄格式
## 使用create table建立表，最後使用stored as sequencefile保存成sequence格式[默認是text格式]
# 數據庫受權
hive> grant create on database dbname to user hadoop;
# 導入數據(本地導入和hdfs導入)
hive> load data inpath 'hdfs://hdfs-name/sure.csv' overwrite into table aiops.appinfo;
load data local inpath '/home/hdfs/online_state1' overwrite into table online_state PARTITION (end_dt='99991231');
# 查看錶結構
hive> describe extended bgops;
hive> describe bgops;
# 修改列名
## 這個命令能夠修改表的列名，數據類型，列註釋和列所在的位置順序，FIRST將列放在第一列，AFTER col_name將列放在col_name後面一列
hive> ALTER TABLE aiops.appinfo CHANGE hostnum ipnum int comment 'some 註釋' AFTER col3;
# 修改表結構
ALTER TABLE aiops.appinfo replace columns (appname string,level string,leader string,appline string,dep string,ips array<string>);
ALTER TABLE appinfo replace columns (appname string,appline string,level string,leader string,dep string,idcnum int,idcs array<string>,hostnum int,ips array<string>);
## 增長表的列字段(默認增長到最後一列，可使用change column 來調整位置)
hive> alter table appinfo add columns (appclass string comment 'app_perf_class');
# 導出表查詢結果(會將結果導出到testoutput目錄下)
hive> insert overwrite local directory './testoutput'
> row format delimited fields terminated by "\t"
> select ip,appname,leader from appinfo LATERAL VIEW explode(ips) tmpappinfo AS ip;複製代碼
外部表的使用場景bash
原始日誌文件或同時被多個部門同時操做的數據集，須要使用外部表app
若是不當心將meta data刪除了，HDFS上的數據還在，能夠恢復，增長了數據的安全性
注意:使用insert插入數據時會產生臨時表，從新鏈接後會表會小時，所以大批量插入數據時不建議用inserttips1:在hdfs的hive路徑下以.db結尾的其實都是實際的數據庫tips2:默認的default數據庫就在hive的家目錄
3. 分區表
注意:分區表一般分爲靜態分區表和動態分區表，前者須要導入數據時靜態指定分區，後者能夠直接根據導入數據進行分區。分區的好處是可讓數據按照區域進行分類，避免了查詢時的全表掃描。
# 建立外部分區表，指定靜態分區爲dt
CREATE EXTERNAL TABLE if not exists aiops.tmpOnline(ip string,
status string,
....
)
PARTITIONED BY (
dt string);
# 導入數據到靜態分區表中(須要注意的是數據中沒有dt字段)
load data local inpath '/home/hdfs/tmpOnline' overwrite into table aiops.tmpOnline PARTITION (dt='99991231');
# 動態分區表的使用(動態分區和靜態分區表的建立時沒有區別的)
# 注意:hive默認沒有開啓動態分區，須要進行參數修改
# 使用動態分區的記錄中，必須在指定位置包含動態分區的字段才能被動態分區表識別
hive>set hive.exec.dynamic.partition.mode=nonstrict;
hive>
insert
overwrite
table aiops.tmpOnline
partition(dt)
select
ip,appname,....,from_unixtime(unix_timestamp(),'yyyyMMdd') as dt from table;
# 手動添加分區
alter table tablename add partition (dt='20181009');
# 刪除分區，數據也會刪除(因此通常會使用外部分區表？)
## 注意:若是數據有變更，是沒法將數據load到同一個時間分區的記錄的
alter table tablename drop partition (dt='20181009');
# 查詢分區表沒有加分區過濾，會禁止提交這個任務(strict方式每次查詢必須制定分區)
set hive.mapred.mode = strict|nostrict;複製代碼
注意:在外部分區表中，若是將表刪除了，重建表後只須要將分區加載進來便可恢復歷史相關分區的數據。
多重分區的使用
# 建立多重分區表
create table log_m (
id int,
name string,
age int
)
partitioned by (year string,month string,day string)
row format delimited
fields terminated by '|'
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n';
# 插入數據
insert into table log_m partition (year='2018',month='10',day='10') values(1,'biaoge',24);
insert into table log_m partition (year='2018',month='10',day='09') values(2,'bgbiao',25);
hive> show partitions log_m;
OK
year=2018/month=10/day=09
year=2018/month=10/day=10
Time taken: 0.055 seconds, Fetched: 2 row(s)
hive>
# 多重動態分區
# 好像動態分區表不能直接load data
hive> insert into table log_m partition(year,month,day) values(3,'xuxuebiao',28,'2016','09','10');
hive> show partitions log_m;
OK
year=2016/month=09/day=10
year=2018/month=10/day=09
year=2018/month=10/day=10
# 查詢分區數據
hive> select * from log_m where year = '2018';
OK
2 bgbiao 25 2018 10 09
1 biaoge 24 2018 10 10
2 bgbiao 25 2018 10 10複製代碼
2、Hive的複雜數據類型的使用
注意:Hive之因此能在大數據領域比較受歡迎，很大一部分緣由在於相比其餘SQL類存儲系統支持更加複雜的數據類型
map: (key1, value1, key2, value2, ...) 一些列的k/v對 map<int,string...>
struct: (var1,var2,var3...) 不一樣類型的值的組合 struct<abc:string,def:int...>
array: (var1,var2,var3...) 一種類型的值的組合 array<string...>
uniontype: (string,map<>,struct<>,array<>)
注意:在建立hive表時可根據須要導入的數據進行類型識別並建立適合的數據類型
hive數據類型數據識別標識:
| 字段分割標識 | 含義 |
|---|---|
| FIELDS TERMINATED BY | 表示字段與字段之間的分隔符 |
| COLLECTION ITEMS TERMINATED BY | 表示一個字段中各個item之間的分隔符[可用於array和struct類型] |
| MAP KEYS TERMINATED BY | 表示map類型中的key/value的分隔符[可用於map類型] |
# 建立表
create table union_testnew(
foo uniontype<int, double, string, array<string>, map<string, string>>
)
row format delimited
collection items terminated by ','
map keys terminated by ':'
lines terminated by '\n'
stored as textfile;
# 數據準備
[root@master wadeyu]# vim union_test.log
1 0,1
2 1,3.0
3 2,world
4 3,wade:tom:polly
5 4,k1^Dv1:k2^Dv2
# 導入數據
hive (badou)> load data local inpath './union_test.log' overwrite into table union_testnew;
# 查詢數據
hive (badou)> select * from union_testnew;
OK
union_testnew.foo
{0:1}
{1:3.0}
{2:"world"}
{3:["wade","tom","polly"]}
{4:{"k1":"v1","k2":"v2"}}
Time taken: 0.225 seconds, Fetched: 5 row(s)複製代碼
1. array類型的使用
1.1 array類型的基本使用
類型結構: array<struct> 例如:array<string>,array<int>數據表示: 例如:[string1,string2],[int1,int2]
# 原始文件
bmpjob P2 bgops 服務研發組 10.0.0.212,10.0.0.225,10.0.0.243,10.0.55.31
# 建立數據庫
hive> create table appinfo
> (
> appname string,
> level string,
> leader string,
> dep string,
> ips array<string>)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY ' '
> COLLECTION ITEMS TERMINATED BY ',';
# 加載數據到hive
hive> load data inpath 'hdfs://hdfs-name/aiops/wander/appinfo.txt' overwrite into table appinfo;
Loading data to table test.appinfo
Table test.appinfo stats: [numFiles=1, numRows=0, totalSize=32568, rawDataSize=0]
OK
# 查詢相關數據
hive> select * from appinfo limit 1;
OK
bmpjob P2 bgops 服務研發組 ["10.0.0.212","10.0.0.225","10.0.0.243","10.0.55.31"]
hive> select appname,leader,ips[0] from appinfo limit 1;
OK
bmpjob bgops 10.0.0.212複製代碼
1.2 array
類型數據轉換處理
背景:
使用array結構時，一個字段中一般會有多個值，這個時候一般狀況下是須要對某個值進行過濾的，通常狀況下會使用lateral view結合UDTF(User-Defined Table-Generating Functions)進行過濾。而UDTF爲了解決一行輸出多行的需求，典型的就是explode()函數。
lateral view語法結構
lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)複製代碼
array<struct>轉字符串
# 借用split函數將array<string>結構內容轉換爲以","分割的字符串
select split(array<string>,',') from tablename複製代碼
hive使用explode()函數進行行轉列語法:lateral view explode(col3) col3 as name
explode(ARRAY): 列表中的每一個元素生成一行
explode(MAP): map中每一個key-value對，生成一行，key爲一列，value爲一列
hive> select ip,appname from appinfo LATERAL VIEW explode(ips) tmpappinfo AS ip limit 2;
10.0.0.212 bmpjob
10.0.0.225 bmpjob
複製代碼
hive使用concat_ws()函數進行列轉行
# 借用concat_ws()和collect_set()函數進行相同列的重複數據轉換
# collect_set()函數能夠將相關列合併成array<>類型；concat_ws()函數會將array<>類型根據指定的分隔符進行合併
## 示例數據
hive> select * from tmp_jiangzl_test;
tmp_jiangzl_test.col1 tmp_jiangzl_test.col2 tmp_jiangzl_test.col3
a b 1
a b 2
a b 3
c d 4
c d 5
c d 6
## 對於以上數據，咱們能夠將col3列根據列col1和col2進行合併
hive> select col1,col2,concat_ws(',',collect_set(col3)) from tmp_jiangzl_test group by col1,col2;
col1 col2 _c2
a b 1,2,3
c d 4,5,6複製代碼
2. struct<>類型的使用
數據定義: struct<name:STRING, age:INT>數據表示: biaoge:18
示例:
# 元數據格式
1,zhou:30
2,yan:30
3,chen:20
# 相關數據庫結構
hive> create table test-struct(id INT, info struct<name:STRING, age:INT>)
> ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
> COLLECTION ITEMS TERMINATED BY ':';
# 加載數據
hive> LOAD DATA LOCAL INPATH '/home/work/data/test5.txt' INTO TABLE test-struct;
# 查詢相關數據
hive> select info.age from test-struct;
Total MapReduce jobs = 1
......
Total MapReduce CPU Time Spent: 490 msec
OK
30
30複製代碼
3. map<>類型的使用
數據定義: map<string,int>數據表示: key:value,key:value...
示例：
# 原始數據格式
1 job:80,team:60,person:70
2 job:60,team:80
3 job:90,team:70,person:100
# map結構的表結構建立
hive> create table employee(id string, perf map<string, int>)
> ROW FORMAT DELIMITED
> FIELDS TERMINATED BY '\t'
> COLLECTION ITEMS TERMINATED BY ','
> MAP KEYS TERMINATED BY ':';
# 數據導入
hive> LOAD DATA LOCAL INPATH '/home/work/data/test7.txt' INTO TABLE employee;
# 數據查詢
hive> select perf['person'] from employee;
Total MapReduce jobs = 1
......
Total MapReduce CPU Time Spent: 460 msec
OK
70
NULL
# 使用explode()函數查詢
hive> select explode(perf) as (p_name,p_score) from employee limit 4;
OK
job 80
team 60
person 70
# 使用explode()和lateral view結合查詢
hive> select id,p_name,p_score from employee lateral view explode(perf) perf as p_name,p_score limit 3;
OK
1 job 80
1 team 60
1 person 70
# 使用size()函數查看map結構中的鍵值對個數[也可查看array中的元素個數]
hive> select size(perf) from employee
3
2
3複製代碼
3、Hive的經常使用函數
注意:使用show functions能夠查看hive支持的相關函數
1. hive經常使用函數列表
標準函數使用:
| 函數名 | 做用描述 |
|---|---|
| round()/floor() | 能夠將double類型轉換爲bigint類型 |
| abs() | 返回數值的絕對值 |
| ucase() | 將字符串轉換成全是大寫字母 |
| reverse() | 將字符串進行翻轉 |
| concat() | 將輸入的多個字符串當作一個字符串輸出concat(' 171 |
聚合函數使用:
| 函數名 | 做用描述 |
|---|---|
| sum() | 返回全部輸入求和後的值 |
| avg() | 計算全部輸入值的平均值 |
| min()/max() | 計算輸入值的最大和最小值 |
注意:聚合方法一般須要和group by語句組合使用
表生成函數:
表生成函數接收零個或者多個輸入，而後產生多列或多行輸出.
| 函數名 | 做用描述 |
|---|---|
| array() | 將函數內容轉換成一個array<>類型 |
| split(array,split) | 將array<>類型按照split分割符進行分割成字符串(轉義時使用\進行轉義) |
| explode() | array數據類型做爲輸入，對數組中數據進行迭代，返回多行結果 |
| collect_set() | 將某字段的值進行去重彙總，產生Array類型字段 |
| collect_list() | 同collect_set()，可是不會對字段進行去重 |
| concat_ws(split,struct) | 將struct類型的字段按照split進行分割成字符串(struct僅支持string和array<>類型) |
| cast(column as type) | 轉換數據類型(column列轉換爲type類型) |
注意:當split被包含在""之中的時候須要使用四個\進行轉義[好比在hive -e ""中執行split函數]
## array()函數能夠將一列輸入轉換成一個數組輸出
hive> select array(1,2,3) from xuxuebiao;
OK
[1,2,3]
[1,2,3]
## explode()函數以array數據類型做爲輸入，對數組中數據進行迭代，返回多行結果
hive> select explode(array(1,2,3)) from xuxuebiao;
OK
1
2
3
## 使用explode()函數查看array中的某個元素
hive> select * from appinfo LATERAL VIEW explode(ips) tmpappinfo AS realid where realid ='10.0.0.125' ;
## collect_set函數
### 該函數的做用是將某字段的值進行去重彙總，產生Array類型字段
hive> select * from test;
OK
1 A
1 C
1 B
hive> select id,collect_set(name) from test group by id;
OK
1 ["A","C","B"]
複製代碼
2.經常使用的條件判斷以及數據清洗函數
在使用hive處理數據過程當中，一般咱們須要對相關數據進行清洗轉換，此時咱們可能會使用一些條件判斷以及默認值處理函數。
| 函數名 | 做用描述 |
|---|---|
| IF( Test Condition, True Value, False Value ) | 判斷條件，知足即爲True值，不知足即爲False值 |
| CASE Statement | 多條件判斷 |
| parse_url() | 一般用於清洗url相關函數，提供了經常使用的url解析功能 |
| parse_url_tuple() | 同上 |
| regexp_replace() | 正則表達式替換 |
| regexp_extract() | 正則表達式解析 |
| COALESCE(column,'') | hive中的空值轉換(hive中的空值爲NULL，而存儲到hdfs中會以\N來存儲) |
示例:
# if條件判斷經常使用於不一樣規格數據的清洗操做
hive> select ip,if(assign != '分配狀態未知',0,assign) as fenpei from asset ;
OK
10.0.0.1 分配狀態未知
# case多條件判斷
hive> select ip,
case
when assign = '已分配' then 1
when assign = '未分配' then 2
else 0
end
as fenpei
from asset
hive (ods)> select name,salary,
> case when salary < 800 then 'low'
> when salary >= 800 and salary <=5000 then 'middle'
> when salary >5000 and salary <10000 then 'high'
> else 'very high'
> end as bracket
> from emp1;
# parser_url()函數
hive> select parse_url('https://www.baidu.com/s?cl=3&tn=baidutop10&fr=top1000&wd=%E8%BF%AA%E5%A3%AB%E5%B0%BC%E6%94%B6%E8%B4%AD%E7%A6%8F%E5%85%8B%E6%96%AF&rsv_idx=2','HOST') ;
www.baidu.com
# 正則表達式
hive> select regexp_replace('foobar', 'oo|ar', '');
select regexp_replace('foobar', 'oo|ar', '-');
## 輸出第一個回溯引用(.*?)匹配到的內容即the
select regexp_extract('foothebar', 'foo(.*?)(bar)', 1);
## 輸出第而個回溯引用(bar)匹配到的內容即bar
select regexp_extract('foothebar', 'foo(.*?)(bar)', 2);
## 輸出所有內容
select regexp_extract('foothebar', 'foo(.*?)(bar)', 0);
# 清洗組合
select if(4>5,5000,1000),coalesce(null,1,3,5),coalesce(null,null,null,null), case 3 when 1 then 'lala' when 2 then 'chye' else 'abc' end;
複製代碼
3. hive高級函數
row_number() over()
3、hive經常使用的環境變量
| 環境變量 | 含義 |
|---|---|
| set hive.cli.print.header=true | 設置查詢時顯示錶頭 |
| set hive.exec.dynamic.partition=true | 開啓動態分區 |
| set hive.exec.dynamic.partition.mode=nonstrict | 設置動態分區模式爲非嚴格 |
| set hive.exec.max.dynamic.partitions.pernode = 1000 | 設置每一個執行MR的節點上最大分區數 |
| set hive.exec.max.dynamic.partitions=1000 | 設置全部MR節點上最大總分區數 |
| SET SERDEPROPERTIES('serialization.null.format' = '\N') | 設置hive空值存儲方式爲'\N'(此時存儲在HDFS中時'\N',查詢顯示爲NULL) |
後臺回覆：javapdf，有一份大禮包~
相關文章
- 1. Linux 系統必知必會
- 2. mysql必知必會(3、使用mysql)
- 3. mysql必知必會--使用MySQL
- 4. Flutter 插件使用必知必會
- 5. MySQL必知必會--使用子查詢
- 6. 程序員必知必會的 Linux系列 —— 用戶組篇
- 7. WSGI必知必會
- 8. Category必知必會
- 9. MySQL必知必會
- 10. DNS必知必會
- 更多相關文章...
- • PHP 表單 - 必需字段 - PHP教程
- • Spring通知類型及使用ProxyFactoryBean創建AOP代理 - Spring教程
- • Composer 安裝與使用
- • 使用Rxjava計算圓周率
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Linux 系統必知必會
- 2. mysql必知必會(3、使用mysql)
- 3. mysql必知必會--使用MySQL
- 4. Flutter 插件使用必知必會
- 5. MySQL必知必會--使用子查詢
- 6. 程序員必知必會的 Linux系列 —— 用戶組篇
- 7. WSGI必知必會
- 8. Category必知必會
- 9. MySQL必知必會
- 10. DNS必知必會