[大數據相關] Hive中的全排序:order by,sort by, distribute by

寫mapreduce程序時,若是reduce個數>1,想要實現全排序須要控制好map的輸出,詳見Hadoop簡單實現全排序。html 如今學了hive,寫sql你們都很熟悉,若是一個order by解決了全排序還用那麼麻煩寫mapreduce函數嗎?sql 事實上,hive使用order by會默認設置reduce的個數=1,既然reducer的個數都是1了,結果天然全排序!分佈式 這也違背了充分
相關文章
相關標籤/搜索