map的環形內存緩衝區

map的環形內存緩衝區 博客分類: hadoop源碼解讀 Hadoop Mapreduce Apache 工作 hadoop在執行MapReduce任務時,在map階段,map函數產生的輸出,並不是直接寫入磁盤的。爲了提高效率,它將輸出結果先寫入到內存中(即 環形內存緩衝區,默認大小100M),再從緩衝區(溢)寫入磁盤。 下面我們就來看看這段代碼。 1、找到環形內存緩衝區 在運行job時,有條輸出
相關文章
相關標籤/搜索