MapReduce內部數據處理流程(未完成)

MapReduce數據處理流程 1、數據來源路徑:FileInputFormat.setInputPaths(),輸入目錄中,可以有單個或多個文件; 2、對原始數據進行處理、任務劃分: (1)任務切片:切片是邏輯切片,非物理切片; (2)切片大小由輸入文件的大小、文件數量和配置參數決定; (3)(集羣中)默認128M一個任務切片,(本地模式)32M一個任務切片; (4)任務切片邏輯確定maptas
相關文章
相關標籤/搜索