MR分佈式程序詳細內部工作流程

mr程序分爲map端和reduce端,來進行處理數據,mr程序在運行的時候最先啓動的程序就是MRAppMaster,MRAppMaster是可以讀到在job提交的時候的參數信息,所以它可以根據參數信息,來啓動對應數量的maptask和reducetask,在maptask啓動後,會讀取自己對應的任務切片,以逐行讀取的方式,一個K,V執行一次map()方法,K爲起始偏移量,V爲行內容 在map()方

>>阅读原文<<