YARN node labels

最近在作實驗，實驗須要進行分區域計算，網上查了資料後發現Yarn Node Labels + Capacity-Scheduler能夠實現個人需求

可是當任務提交到capacity-scheduler調度器的default隊列時，任務卡在ACCEPTED階段。

網上看了不少發現沒有這方面的信息，最後在Apache hadoop官網的官方手冊上查到有如下信息

property	Value
yarn.scheduler.capacity.<queue-path>.default-node-label-expression	Value like 「hbase」, which means: if applications submitted to the queue without specifying node label in their resource requests, it will use 「hbase」 as default-node-label-expression. By default, this is empty, so application will get containers from nodes without label.

從官網上說明來看，若是yarn.scheduler.capacity.<queue-path>.default-node-label-expression設置了value，那麼提交到queue中的任務若是沒有說明用什麼label，則使用這個value所定義的label；若是這個value爲空，那麼提交到這個隊列的任務只能在不含有label的node上執行。此處的value只能是一個label，不能是多個label。

也就是說yarn node label中的queue只能默認使用一個label，不能多label使用，若是某個queue沒有指定label，那麼該queue中job只能在沒有label的node上執行。

個人實驗環境中全部的nodemanager都設置了yarn node labels，yarn.scheduler.capacity.root.default.default-node-label-expression=' '，因此當我任務提交到capacity-scheduler調度器的default隊列時，任務卡在ACCEPTED階段，由於沒有不綁定label的節點，因此任務卡在了accepted了。

下面說下個人實驗環境及需求

個人需求：

個人capacity-scheduler.xml文件中配置：yarn.scheduler.capacity.root.default.default-node-label-expression=' '

上圖中default queue隊列不能在Host1，Host2，Host3上運行，由於Host1，Host2，Host3都有Node-label。

根據以上需求，我配置文件以下：

在yarn-site.xml中開啓capacity-schedule

<property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  </property>

配置capacity-scheduler.xml文件

<configuration>
  <property>
    <name>yarn.scheduler.capacity.root.queues</name>
    <value>default,area0,area1,area2</value>
    <description>
      The queues at the this level (root is the root queue).
    </description>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default.capacity</name>
    <value>25</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area0.capacity</name>
    <value>25</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area1.capacity</name>
    <value>25</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area2.capacity</name>
    <value>25</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area0.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area1.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area2.maximum-capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.accessible-node-labels</name>
    <value>*</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area0.accessible-node-labels</name>
    <value>area0</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area1.accessible-node-labels</name>
    <value>area1</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area2.accessible-node-labels</name>
    <value>area2</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.accessible-node-labels.area0.capacity</name>
    <value>33</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.accessible-node-labels.area1.capacity</name>
    <value>33</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.accessible-node-labels.area2.capacity</name>
    <value>34</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area0.accessible-node-labels.area0.capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area1.accessible-node-labels.area1.capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area2.accessible-node-labels.area2.capacity</name>
    <value>100</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.default-node-label-expression</name>
    <value> ,area0,area1,area2</value>
  </property>
　<!--value爲空，則root.default隊列只能在沒有label的node上執行，而我環境環境中不存在沒有label的node，因此提交到root.default的任務卡死-->
  <property>
    <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
    <value> </value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area0.default-node-label-expression</name>
    <value>area0</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area1.default-node-label-expression</name>
    <value>area1</value>
  </property>

  <property>
    <name>yarn.scheduler.capacity.root.area2.default-node-label-expression</name>
    <value>area2</value>
  </property>
</configuration>

 

 

添加Yarn Node Labels

#添加標籤
yarn rmadmin -addToClusterNodeLabels area0,area1,area2
#節點添加標籤
yarn rmadmin -replaceLabelsOnNode Host1:45454,area0
yarn rmadmin -replaceLabelsOnNode Host2:45454,area1
yarn rmadmin -replaceLabelsOnNode Host3:45454,area2
#查看標籤
yarn node -status Host1:45454
#也能夠經過Yarn管理頁面查看Node Label

配置Yarn Node Labels存儲目錄，這樣不用每次重啓服務後從新配置Yarn Node Labels。

在yarn-site.xml中添加下列信息

<property>
       <name>yarn.node-labels.enabled</name>
       <value>true</value>
  </property>
  <property>
     <name>yarn.nodemanager.address</name>
     <value>0.0.0.0:45454</value>
  </property>

  <property>
     <name>yarn.node-labels.manager-class</name>
     <value>org.apache.hadoop.yarn.server.resourcemanager.nodelabels.RMNodeLabelsManager</value>
  </property>
  <property>
     <name>yarn.node-labels.fs-store.root-dir</name>
     <value>hdfs://Host0:8020/yarn/node-labels</value>
     <description>標籤數據在HDFS上的存儲位置</description>
  </property>

在HDFS上建立相應的目錄，並修改權限，我權限設置成了777

這樣配置好以後，yarn node labels就不用重複配置了