Hadoop之MapReduce的理解

MapReduce 一,主要包括兩個部分,Map與Reduce。 1,Map任務:對數據進行獲取,分割,處理與輸出。 map任務之前對文件的解析: 一個文件,通常被分爲若干個128MB的數據塊,正常情況下,在進行map任務之前,會對文件進行切片,默認大小也爲128MB,也就是說,一個數據塊就是一個切片。 一個切片中的內容被解析爲{key:value}鍵值對,key默認爲偏移量,可以自己定義,val
相關文章
相關標籤/搜索