mapReduce——切片(split)

一. map mask與切片的關係 map task的數量是由切片的數量決定的,有多少個切片,就啓動多少個map task。 切片是一個邏輯的概念,指的是文件中數據偏移量範圍。 切片的具體大小應該根據所處理的文件大小來調整 split的重要作用是優化小文件場景 二. 提交job任務時獲取切片split信息的源碼流程
相關文章
相關標籤/搜索