試用hadoop jvm複用配置

  Hadoop默認爲每個task（map task 或者 reduce task） 啓動一個jvm。 鑑於目前小文件過多的問題，設置了jvm複用，即一個job內，多個task共享jvm，避免多次啓動jvm，浪費資源和時間。   測試Job信息： map：4715個 reduce：20個 input：  34G output:  25G     優化前：1464 s 優化後：1375 s Job運

>>阅读原文<<