Mapper輸入InputSplit分片數透析

什麼是InputSplit InputSplit是指分片,在MapReduce當中做業中,做爲map task最小輸入單位。分片是基於文件基礎上出來的而來的概念,通俗的理解一個文件能夠切分爲多少個片斷,每一個片斷包括了<文件名,開始位置,長度,位於哪些主機>等信息。map task的數量由輸入文件總大小和分片大小肯定的;hadoop2.2版本hdfs的數據塊默認是128M。若一個文件大於128M,
相關文章
相關標籤/搜索