Hadoop Map/Reduce的工作流

問題描述 我們的數據分析平臺是單一的Map/Reduce過程，由於半年來不斷地增加需求，導致了問題已經不是那麼地簡單，特別是在Reduce階段，一些大對象會常駐內存。因此越來越頂不住壓力了，當前內存問題已經是最大的問題，每個Map佔用5G，每個Reduce佔用9G！直接導致當數據分析平臺運行時，集羣處於資源匱乏狀態。   因此，在不改變業務數據計算的條件下，將單一的Map/Reduce過程分解成2

>>阅读原文<<