Hive_內部排序(Sort By)

每一個MapReduce內部排序(Sort By)code

Sort By:對於大規模的數據集order by的效率很是低。在不少狀況下,並不須要全局排序,此時可使用sort byblog

Sort by爲每一個reducer產生一個排序文件。每一個Reducer內部進行排序,對全局結果集來講不是排序。排序

1.設置reduce個數it

hive (default)> set mapreduce.job.reduces=3;

2.查看設置reduce個數class

hive (default)> set mapreduce.job.reduces;

3.根據部門編號降序查看員工信息效率

hive (default)> select * from emp sort by deptno desc;

4.將查詢結果導入到文件中(按照部門編號降序排序)module

hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result'
select * from emp sort by d
相關文章
相關標籤/搜索