國內最全最詳細的hadoop2.2.0集羣的MapReduce的最簡單配置

 

簡介

 

hadoop2的中的MapReduce再也不是hadoop1中的結構已經沒有了JobTracker，而是分解成ResourceManager和ApplicationMaster。此次大變革被稱爲MRv2或者YARN，是一次革命性的變化。

 

配置

 

在前面的文章中，咱們配置了hadoop2集羣的HA高可靠，下面緊接上前面的配置，設置MapReduce的配置信息，也是最簡單最容易上手的。

 

修改文件yarn-site.xml，內容以下

<configuration>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop100</value>
  </property>   

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

其中，名稱yarn.resourcemanager.hostname指的是運行ResourceManager機器所在的節點位置；名稱yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle，必定要看清楚。

 

修改mapred-site.xml，內容以下

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>

其中，名稱mapreduce.framework.name指的是使用yarn運行mapreduce程序。

 

啓動了HDFS以後，就能夠啓動yarn了。執行命令start-yarn.sh便可啓動MapReduce集羣。

 

關於hadoop2的其餘配置文章，歡迎持續關注個人文章。