hadoop yarn ui applications list 研究

Yarn提供的web界面能夠看到applications歷史數據，Yarn Web UI的列表數據如圖:

這部分數據的展示方式是前臺分頁，意思就是好比有2w的歷史數據，將一次所有加載，第一次很是慢，後續操做很快。

列表數據最終調用到org.apache.hadoop.yarn.server.resourcemanager.webapp.AppsBlock類中

在render方法中有下面代碼

能夠數據是從RMContext中得到的。在RMContext的實現類RMContextImpl中能夠詳細知道數據存在什麼裏面，是ConcurrentHashMap

那整個集羣跑的applications的數據都放到這個Map中，時間長了，數據量上來怎麼 辦？有關於數量控制的配置，並在RMAppManager對這個Map的數據超過配置進行remove操做。相見以下截圖

YarnConfiguration中的配置

RMAppManager中的重要代碼

能夠默認配置值是1w，實際經驗是這個值保留平均天天做業數的2到3倍就能夠，就是保留數據2,3天。否則使用1w數據確實很大，前臺顯示緩慢也會給resourcemanager帶來沒必要要的壓力和性能瓶頸。

能夠修改yarn-site.xml中的以下配置，修改默認值1w。

<property>
  <name>yarn.resourcemanager.max-completed-applications</name>
  <value>2000</value>
</property>

另外jobhistory的數量控制參考

http://IP:19888/jobhistory

<property>
  <name>mapreduce.jobhistory.joblist.cache.size</name>
  <value>10</value>
</property>
etc/hadoop/mapred-site.xml

參考

http://zh.hortonworks.com/blog/apache-hadoop-yarn-resourcemanager/ http://blog.csdn.net/wujun8/article/details/34102889

http://blog.csdn.net/skywalker_only/article/details/41726189