Hive_分區排序(Distribute By)

Distribute By： 在有些狀況下，咱們須要控制某個特定行應該到哪一個reducer，一般是爲了進行後續的彙集操做。distribute by子句能夠作這件事。distribute by相似MR中partition（自定義分區），進行分區，結合sort by使用。

對於distribute by進行測試，必定要分配多reduce進行處理，不然沒法看到distribute by的效果。

案例實操：

（1）先按照部門編號分區，再按照員工編號降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

注意：

1．distribute by的分區規則是根據分區字段的hash碼與reduce的個數進行模除後，餘數相同的分到一個區。

2．Hive要求DISTRIBUTE BY語句要寫在SORT BY語句以前。