Hadoop YARN配置參數剖析—RM與NM相關參數

　　注意，配置這些參數前，應充分理解這幾個參數的含義，以防止誤配給集羣帶來的隱患。另外，這些參數均須要在yarn-site.xml中配置。

　　1.    ResourceManager相關配置參數

　　（1） yarn.resourcemanager.address

　　參數解釋：ResourceManager 對客戶端暴露的地址。客戶端經過該地址向RM提交應用程序，殺死應用程序等。

　　默認值：${yarn.resourcemanager.hostname}:8032

　　（2） yarn.resourcemanager.scheduler.address

　　參數解釋：ResourceManager 對ApplicationMaster暴露的訪問地址。ApplicationMaster經過該地址向RM申請資源、釋放資源等。

　　默認值：${yarn.resourcemanager.hostname}:8030

　　（3） yarn.resourcemanager.resource-tracker.address

　　參數解釋：ResourceManager 對NodeManager暴露的地址.。NodeManager經過該地址向RM彙報心跳，領取任務等。

　　默認值：${yarn.resourcemanager.hostname}:8031

　　（4） yarn.resourcemanager.admin.address

　　參數解釋：ResourceManager 對管理員暴露的訪問地址。管理員經過該地址向RM發送管理命令等。

　　默認值：${yarn.resourcemanager.hostname}:8033

　　（5） yarn.resourcemanager.webapp.address

　　參數解釋：ResourceManager對外web ui地址。用戶可經過該地址在瀏覽器中查看集羣各種信息。

　　默認值：${yarn.resourcemanager.hostname}:8088

　　（6） yarn.resourcemanager.scheduler.class

　　參數解釋：啓用的資源調度器主類。目前可用的有FIFO、Capacity Scheduler和Fair Scheduler。

　　默認值：

　　org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler

　　（7） yarn.resourcemanager.resource-tracker.client.thread-count

　　參數解釋：處理來自NodeManager的RPC請求的Handler數目。

　　默認值：50

　　（8） yarn.resourcemanager.scheduler.client.thread-count

　　參數解釋：處理來自ApplicationMaster的RPC請求的Handler數目。

　　默認值：50

　　（9） yarn.scheduler.minimum-allocation-mb/ yarn.scheduler.maximum-allocation-mb

　　參數解釋：單個可申請的最小/最大內存資源量。好比設置爲1024和3072，則運行MapRedce做業時，每一個Task最少可申請1024MB內存，最多可申請3072MB內存。

　　默認值：1024/8192

　　（10） yarn.scheduler.minimum-allocation-vcores / yarn.scheduler.maximum-allocation-vcores

　　參數解釋：單個可申請的最小/最大虛擬CPU個數。好比設置爲1和4，則運行MapRedce做業時，每一個Task最少可申請1個虛擬CPU，最多可申請4個虛擬CPU。什麼是虛擬CPU，可閱讀個人這篇文章：「YARN 資源調度器剖析」。

　　默認值：1/32

　　（11） yarn.resourcemanager.nodes.include-path /yarn.resourcemanager.nodes.exclude-path

　　參數解釋：NodeManager黑白名單。若是發現若干個NodeManager存在問題，好比故障率很高，任務運行失敗率高，則能夠將之加入黑名單中。注意，這兩個配置參數能夠動態生效。（調用一個refresh命令便可）

　　默認值：「」

　　（12） yarn.resourcemanager.nodemanagers.heartbeat-interval-ms

　　參數解釋：NodeManager心跳間隔

　　默認值：1000（毫秒）

　　2. NodeManager相關配置參數

　　（1） yarn.nodemanager.resource.memory-mb

　　參數解釋：NodeManager總的可用物理內存。注意，該參數是不可修改的，一旦設置，整個運行過程當中不 可動態修改。另外，該參數的默認值是8192MB，即便你的機器內存不夠8192MB，YARN也會按照這些內存來使用（傻不傻？），所以，這個值經過一 定要配置。不過，Apache已經正在嘗試將該參數作成可動態修改的。

　　默認值：8192

　　（2） yarn.nodemanager.vmem-pmem-ratio

　　參數解釋：每使用1MB物理內存，最多可用的虛擬內存數。

　　默認值：2.1

　　（3） yarn.nodemanager.resource.cpu-vcores

　　參數解釋：NodeManager總的可用虛擬CPU個數。

　　默認值：8

　　（4） yarn.nodemanager.local-dirs

　　參數解釋：中間結果存放位置，相似於1.0中的mapred.local.dir。注意，這個參數一般會配置多個目錄，已分攤磁盤IO負載。

　　默認值：${hadoop.tmp.dir}/nm-local-dir

　　（5） yarn.nodemanager.log-dirs

　　參數解釋：日誌存放地址（可配置多個目錄）。

　　默認值：${yarn.log.dir}/userlogs

　　（6） yarn.nodemanager.log.retain-seconds

　　參數解釋：NodeManager上日誌最多存放時間（不啓用日誌彙集功能時有效）。

　　默認值：10800（3小時）

　　（7） yarn.nodemanager.aux-services

　　參數解釋：NodeManager上運行的附屬服務。需配置成mapreduce_shuffle，纔可運行MapReduce程序

　　默認值：「」

　　原文連接：http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/