hadoop任務map將其輸入寫入本地硬盤,而非hdfs,爲何

由於map的輸出是中間的結果,這個中間結果是由reduce處理後才產生最終輸出結果,並且一旦做業完成,map的輸出結果就能夠刪除。若是把它存儲在hdfs中就並備份,不免有些小題大做,若是運行map任務的節點將map中間結果傳送給reduce任務以前失敗,hadoop將在另外一個節點上從新運行這個map任務以在此構建mao中間結果。oop

相關文章
相關標籤/搜索