Hive中跑MapReduce Job出現OOM問題分析及解決

1、引子 今天在跑一段很複雜並且涉及數據量10多年的N個表join的長SQL時，發生了OOM的異常。java 因爲一個map一般配置只有64MB或者128MB，則在Map階段出現OOM的狀況不多見。因此通常發生在reduce階段。 可是今天這個異常詳細的看後，會發現既不是map階段，也不是reduce階段，發現不是執行過程，而是driver提交job階段就OOM了。 Hive中XMLEncoder

>>阅读原文<<