每一個MapReduce內部排序(Sort By)code
Sort By:對於大規模的數據集order by的效率很是低。在不少狀況下,並不須要全局排序,此時可使用sort by。blog
Sort by爲每一個reducer產生一個排序文件。每一個Reducer內部進行排序,對全局結果集來講不是排序。排序
1.設置reduce個數it
hive (default)> set mapreduce.job.reduces=3;
2.查看設置reduce個數class
hive (default)> set mapreduce.job.reduces;
3.根據部門編號降序查看員工信息效率
hive (default)> select * from emp sort by deptno desc;
4.將查詢結果導入到文件中(按照部門編號降序排序)module
hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result' select * from emp sort by d