InputFormat簡析

  0 引子:   hadoop把處理的文件讀取到並解析成鍵值對,這個操作是通過InputFormat類的子類實現的。 在執行一個Job的時候,Hadoop會將處理的數據(存放在hdfs中)劃分成N個Split, 然後啓動相應的N個Map程序來分別處理它們, 默認下hdfs中的一個block就會被劃分爲一個Split, 現在的問題是: a)被處理的hdfs數據如何被劃分 b)Split對應的Map
相關文章
相關標籤/搜索