MapReducejob提交流程源碼和切片源碼解析

FileInputFormat切片源碼解析(input.getSplits(job)) 程序先找到數據存儲的目錄 開始遍歷處理(規劃切片)目錄下的每一個文件 遍歷第一個文件ss.txt a) 獲取文件大小fs.sizeOf(ss.txt) b)計算切片大小 c)默認情況下,切片大小=blocksize d)開始切,形成第一個切片,0-128M第一個切片128-256M第二個切片 (每次切片時,都要
相關文章
相關標籤/搜索