005.hive列轉行 （collect_set() 去重）

1、問題

hive如何將

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

變爲：

a       b       1,2,3
c       d       4,5,6

2、數據

test.txt

a       b       1
a       b       2
a       b       3
c       d       4
c       d       5
c       d       6

3、答案

1.建表

drop table tmp_jiangzl_test;
create table tmp_jiangzl_test
(
col1 string,
col2 string,
col3 string
)
row format delimited fields terminated by '\t'
stored as textfile;


load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jiangzl_test;

2.處理

select col1,col2,concat_ws(',',collect_set(col3))
from tmp_jiangzl_test  
group by col1,col2;

4、關於咱們

本文author：數據的開拓者成員之一 江中煉

QQ羣：248087140 

座右銘： 

你在你擅長的領域牛逼， 

並帶着一羣小白變牛逼，

別人會發自心裏的去尊重你的。 

--可點擊加入咱們