Yarn篇--搭建yarn集羣

一。前述

有了上次hadoop集羣的搭建，搭建yarn就簡單多了。廢話很少說，直接來

二。規劃

 

 三。配置以下

yarn-site.xml配置

 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>//定義yarn的機制
    </property>
<property>
   <name>yarn.resourcemanager.ha.enabled</name>//是否使用HA
   <value>true</value>
 </property>
 <property>
   <name>yarn.resourcemanager.cluster-id</name//集羣Id
   <value>cluster1</value>
 </property>
 <property>
   <name>yarn.resourcemanager.ha.rm-ids</name>//集羣邏輯節點
   <value>rm1,rm2</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm1</name>//集羣物理節點
   <value>node03</value>
 </property>
 <property>
   <name>yarn.resourcemanager.hostname.rm2</name>//集羣物理節點
   <value>node04</value>
 </property>
 <property>
   <name>yarn.resourcemanager.zk-address</name>//與zookeeper通訊
   <value>node02:2181,node03:2181,node04:2181</value>
 </property>

mapred-site.xm配置
<property>
        <name>mapreduce.framework.name</name>//使用yran
        <value>yarn</value>
  </property>
PS  :slaves中既是datanode配置同時也是nodemanger的配置

四。配置免密

一樣須要配置resourcemange到nodemanager的免密 和兩個resourcemanger的免密
五。啓動順序
養成一個好習慣，先把集羣停掉，而後再添加配置，（其實不停也行）

 

先在node01節點上手動先啓動hdfs集羣start-dfs.sh

node01而後再啓動yarn集羣 start-yarn.sh(Nodemanager也是由slaves文件管理)

而後再在node03和node04手動啓動resourcemanger

yarn-daemon.sh start resourcemanager

六。驗證

自此集羣搭建成功！！！

持續更新中。。。。，歡迎你們關注個人公衆號LHWorld.