hive使用本地模式--set hive.exec.mode.local.auto=true;(默認爲false)

0.7版本後Hive開始支持任務執行選擇本地模式(local mode)。大多數的Hadoop job是需要hadoop提供的完整的可擴展性來處理大數據的。不過,有時hive的輸入數據量是非常小的。在這種情況下,爲查詢出發執行任務的時間消耗可能會比實際job的執行時間要多的多。對於大多數這種情況,hive可以通過本地模式在單臺機器上處理所有的任務。對於小數據集,執行時間會明顯被縮短。       
相關文章
相關標籤/搜索