Hive(下)

一個InputSplit輸入到map,會運行我們實現的Mapper的處理邏輯,對數據進行映射操作。 map輸出時,會首先將輸出中間結果寫入到map自帶的buffer中(buffer默認大小爲100M,可以通過io.sort.mb配置)。 map自帶的buffer使用容量達到一定限制(默認0.80或80%,可以通過io.sort.spill.percent配置),一個後臺線程會準備將buffer中的
相關文章
相關標籤/搜索