Hadoop系列之八:Hadoop集羣

1、合併MapReduce集羣與HDFS集羣 在調度運行一個作業時,將map任務等直接運行於要處理的數據所存儲的HDFS的數據節點上,可避免大量的數據傳輸,實現數據處理的本地性,進而大大提高整個過程的完成效率,這也正是Hadoop集羣的部署方式。如下圖所示。 在一個小於50個節點的小規模集羣中,可以將NameNode與JobTracker合併於同一個節點上運行。而整個集羣共有5類運行的核心進程,它
相關文章
相關標籤/搜索