MapReduce超詳細內部核心工作機制

比如說我們需要MR去對hdfs的...../input/file1,2,3,4,5.....的很多文件進行處理，首先在提交MR程序的時候Job客戶端會根據你寫的目錄去掃描所有的文件。按照block size進行分片的劃分。 然後，不同的map task 並行的去處理這些分片。 假設map task 0 去處理split 0 ： 首先，TextInputFomat將split0讀進來，然後一行一行的

>>阅读原文<<