mapreduce中Partitioner數量與reducetask數量對結果影響

圖中可以看出Partition主要作用就是將map的結果發送到相應的reduce。 1.現在測試一下第一種情況,Partition數量爲1,返回值0,reduce數量爲3。 設置reduce數量 設置Partition數量 結果輸出3個文件,但只有part-r-00000有內容,其它兩個爲0字節。 2.現在測試一下第二種情況,Partition數量爲1,返回值5,reduce數量爲3。 設置red
相關文章
相關標籤/搜索