Hive Job層面的優化

1.  Run in Local Mode 數據處理比較小的時候就運行本地模式, 不需要分佈式。 把閥值這三個設置改一下就是本地模式了。   2.  JVM Reuse Hadoop每當得到一個map或者reduce任務的時候, 就會啓動一個新的JVM。 處理job時間比較短,但是啓動JVM太費時了。 配置成JVM Reuse可以大大優化   3. Parallel Exectution 並行執行
相關文章
相關標籤/搜索