Hadoop配置文件參數詳解

core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/data/hadoop/tmp</value>
        <!-- 其餘臨時目錄的父目錄 -->
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-alone:9000</value>
        <!--
            hdfs://host:port/
            默認的文件系統的名稱。一般指定namenode的URI地址，包括主機和端口
        -->
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>4096</value>
        <!--
            在序列文件中使用的緩衝區大小，這個緩衝區的大小應該是頁大小（英特爾x86上爲4096）的倍數
            他決定讀寫操做中緩衝了多少數據（單位kb）
        -->
    </property>
    <!--ZooKeeper集羣的地址和端口。注意，數量必定是奇數，且很多於三個節點-->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop1:2181,hadoop2:2181,hadoop3:2181,hadoop4:2181,hadoop5:2181</value>
    </property>
</configuration>

 

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
        <!--指定dataNode存儲block的副本數量，默認值是3個，該值應該不大於4-->
    </property>
    <property>
        <name>dfs.blocksize</name>
        <value>268435456</value>
        <!--大型的文件系統HDFS塊大小爲256MB，先默認是128MB-->
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/name</value>
        <!--
            存放namenode的名稱表（fsimage）的目錄，若是這是一個逗號分隔的目錄列表，
            那麼在全部目錄中複製名稱表，用於冗餘。
         -->
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file://${hadoop.tmp.dir}/dfs/data</value>
        <!--
            存放datanode塊的目錄。若是這是一個逗號分隔的目錄列表，
            那麼數據將存儲在全部命名的目錄中，一般存儲在不一樣的設備上。
        -->
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
        <!---->
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>0.0.0.0:50090</value>
        <!--secondary namenode HTTP服務器地址和端口。-->
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
        <!-- 當爲true時，則容許HDFS的檢測，當爲false時，則關閉HDFS的檢測，但不影響其它HDFS的其它功能。-->
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>hadoop-cluster1</value>
        <!--給hdfs集羣起名字 -->
    </property>
    <property>
        <name>dfs.namenode.handler.count</name>
        <value>100</value>
        <!-- RPC服務器的監聽client線程數，若是dfs.namenode.servicerpc-address屬性沒有配置，則線程會監聽全部節點的請求。-->
    </property>
</configuration>

 

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop-alone:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop-alone:8025</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop-alone:8050</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop-alone:8030</value>
    </property>
</configuration>

 

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <!--執行框架設置爲 Hadoop YARN.-->
    </property>
</configuration>