從源碼分析MapReduce的數據切片原理

切片過程從JobSubmitter的writeSplits()開始 ---step into writeNewSplits() ---step into getSplits() 開始獲取新的切片 首先會選出Format默認最小值和配置文件中設置的切片最小值  二者中最大的一個 getFormatMainSplitSize()默認返回值爲1  getMinSplitSize()中,如果配置文件未設置
相關文章
相關標籤/搜索