MapReduce之mapper以及reducer的個數決定性因素

這個圖大概能夠描述mapreduce計算模型的執行過程，下面咱們就圍繞這個圖聊幾個問題，其中有工做中很是有用的問題：app 1. mapper的個數  結論：mapper的個數是由輸入數據的大小決定的，通常不須要咱們去設置，若是你想控制mapper的個數，那麼須要先了解hadoop是怎麼控制mapper的個數。  如圖所示，每一個Mapper Tasker對應一個split（切片）,要處理的fil

>>阅读原文<<