圖解hadoop的MR計算流程

        圖解hadoop的MR計算流程: 1.左邊部分是map階段,右邊部分是reduce階段 1)我們可以看出左邊的有四個map task,一般情況下一個map tasl處理一個split的數據,一個split一般情況下是一個代表一個block size(128M),所以我們可以看到的是要處理的數據大小是3x128M--4x128M,所以我們回啓動幾個map task一般是取決要處理數據
相關文章
相關標籤/搜索