MapReduce nums of splits理解

首先看下圖 1.Split個數的確定 由圖可知，一個split對應一個MapperTask，一個ReducerTask對應的輸出爲一個partition。是故，nums of splits，即可理解成爲nums of map，即map的個數等於split的個數。 MapReduce在處理大文件的時候，會根據一定的規則把大文件切分成多個，這樣能夠提高map的並行度。 劃分出來的就是InputSpli

>>阅读原文<<