Hadoop徹底分佈式搭建 --- XML配置文件

<!-- 指定namenode的所在主機 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://linux.centos.two:8020</value>
    </property>

    <!-- 指定Hadoop臨時目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data</value>
    </property>

core-site.xml

<!-- 分佈式副本數設置爲3 -->
    <property>
        <name>dfs.replication</name>
        <value>4</value>
    </property>
    
    <!-- secondarynamenode所在主機名 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>linux.centos.three:50090</value>
    </property>
    
    <!-- namenode的web訪問主機名:端口號，這個地方的主機必須是和namenode是同一臺機器 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>linux.centos.two:50070</value>
    </property>
    
    <!-- 關閉權限檢查用戶或用戶組 -->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

hdfs-site.xml

<!-- 指定MapReduce基於yarn來運行 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
    <!-- mapreduce 的 jobhistoryserver 主機地址及端口號 這是Hadoop之間的聯繫使用 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>linux.centos.two:10020</value>
    </property>
    
    <!--指定 jobhistory 服務的web訪問的主機及RPC端口號 這個是WEB訪問的端口服務-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>linux.centos.two:19888</value>
    </property>

mapred-site.xml

<!--指定哪一個節點做爲resourcemanager-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>linux.centos.four</value>
    </property>
    
    <!--在mapreducer過程當中啓用shuffle-->
    <!-- 
        NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，纔可運行MapReduce程序
        指明在執行MapReduce的時候使用shuffle
    -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!--啓用日誌聚合-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    
    <!-- 設置日誌的保存時間，按照秒來計算 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

yarn-site.xml