內存角度介紹Map的輸出到Reduce的輸入的過程

map輸出數據到環形緩衝區(默認內存大小問100M,閾值爲0.8,都可修改),當數據達到閾值就flash,(在flash的同時也有數據輸入到環形緩衝區的空餘空間中),當flash的次數達到默認的4次時就進行merge合併成一個大的數據 reduce主動發起拷貝請求到map端讀取數據到環形緩衝區,當數據達到閾值就flash,當flash的數量達到默認次數時就進行merge合併成一個大的數據,傳給re
相關文章
相關標籤/搜索