Hadoop集羣 java 調用 MR程序運行

時間  2019-12-04
標籤 hadoop 集羣 java 調用 程序 運行 欄目 Hadoop 简体版
原文   原文鏈接
問題導讀
一、配置過程當中會遇到哪些問題，如何解決？
二、Java調用Hadoop2.6 ，運行MR程序須要作哪些配置？
三、如何經過Web程序調用Hadoop？

1. hadoop集羣：

1.1 系統及硬件配置：

     hadoop版本：2.6 ；三臺虛擬機：node101(192.168.0.101)、node102(192.168.0.102)、node103(192.168.0.103)； 每臺機器2G內存、1個CPU核；

     node101: NodeManager、 NameNode、ResourceManager、DataNode；
     node102: NodeManager、DataNode 、SecondaryNameNode、JobHistoryServer；
     node103: NodeManager 、DataNode；

1.2 配置過程當中遇到的問題：

    1） NodeManager啓動不了；

          最開始配置的虛擬機配置的是512M內存，因此在yarn-site.xml 中的「yarn.nodemanager.resource.memory-mb」配置爲512（其默認配置是1024），查看日誌，報錯：
  1. org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Recieved SHUTDOWN signal from Resourcemanager ,Registration of NodeManager failed, Message from ResourceManager: NodeManager from  node101 doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.
複製代碼

         把它改成1024或者以上就能夠正常啓動NodeManager了，我設置的是2048；
   2） 任務能夠提交，可是不會繼續運行

        a. 因爲這裏每一個虛擬機只配置了一個核，可是yarn-site.xml裏面的「yarn.nodemanager.resource.cpu-vcores」默認配置是8，這樣在分配資源的時候會有問題，因此把這個參數配置爲1；

        b. 出現下面的錯誤：
  1. is running beyond virtual memory limits. Current usage: 96.6 MB of 1.5 GB physical memory used; 1.6 GB of 1.5 GB virtual memory used. Killing container.
複製代碼

這個應該是map、reduce、NodeManager的資源配置沒有配置好，大小配置不正確致使的，可是我改了很久，感受應該是沒問題的，可是一直報這個錯，最後沒辦法，把這個檢查去掉了，即把yarn-site.xml 中的「yarn.nodemanager.vmem-check-enabled」配置爲false；這樣就能夠提交任務了。
1.3 配置文件（但願有高人能夠指點下資源配置狀況，能夠不出現上面b的錯誤，而不是使用去掉檢查的方法）：

1）hadoop-env.sh 和yarn-env.sh 中配置jdk，同時HADOOP_HEAPSIZE和YARN_HEAPSIZE配置爲512；

2）hdfs-site.xml 配置數據存儲路徑和secondaryname所在節點：
  1. <configuration>  
  2. <property>  
  3.   <name>dfs.namenode.name.dir</name>  
  4.   <value>file:////data/hadoop/hdfs/name</value>  
  5.   <description>Determines where on the local filesystem the DFS name node  
  6.       should store the name table(fsimage).  If this is a comma-delimited list  
  7.       of directories then the name table is replicated in all of the  
  8.       directories, for redundancy. </description>  
  9. </property>  
  10. <property>  
  11.   <name>dfs.datanode.data.dir</name>  
  12.   <value>file:///data/hadoop/hdfs/data</value>  
  13.   <description>Determines where on the local filesystem an DFS data node  
  14.   should store its blocks.  If this is a comma-delimited  
  15.   list of directories, then data will be stored in all named  
  16.   directories, typically on different devices.  
  17.   Directories that do not exist are ignored.  
  18.   </description>  
  19. </property>  
  20. <property>  
  21. <name>dfs.namenode.secondary.http-address</name>  
  22. <value>node102:50090</value>  
  23. </property>  
  24. </configuration>  
複製代碼


3）core-site.xml 配置namenode：
  1. <configuration>  
  2. <property>  
  3. <name>fs.defaultFS</name>  
  4.   <value>hdfs://node101:8020</value>  
  5. </property>  
  6. </configuration>
複製代碼

4） mapred-site.xml 配置map和reduce的資源：
  1. <configuration>  
  2. <property>  
  3.   <name>mapreduce.framework.name</name>  
  4.   <value>yarn</value>  
  5.   <description>The runtime framework for executing MapReduce jobs.  
  6.   Can be one of local, classic or yarn.  
  7.   </description>  
  8. </property>  
  9.   
  10. <!-- jobhistory properties -->  
  11. <property>  
  12.   <name>mapreduce.jobhistory.address</name>  
  13.   <value>node102:10020</value>  
  14.   <description>MapReduce JobHistory Server IPC host:port</description>  
  15. </property>  
  16.   
  17.   
  18. <property>  
  19. <name>mapreduce.map.memory.mb</name>  
  20. <value>1024</value>  
  21. </property>  
  22. <property>  
  23. <name>mapreduce.reduce.memory.mb</name>  
  24. <value>1024</value>  
  25. </property>  
  26. <property>  
  27. <name>mapreduce.map.java.opts</name>  
  28. <value>-Xmx512m</value>  
  29. </property>  
  30. <property>  
  31. <name>mapreduce.reduce.java.opts</name>  
  32. <value>-Xmx512m</value>  
  33. </property>  
  34. </configuration>
複製代碼

5）yarn-site.xml 配置resourcemanager及相關資源：
  1. <configuration>  
  2.   
  3. <property>  
  4.     <description>The hostname of the RM.</description>  
  5.     <name>yarn.resourcemanager.hostname</name>  
  6.     <value>node101</value>  
  7.   </property>      
  8.     
  9.   <property>  
  10.     <description>The address of the applications manager interface in the RM.</description>  
  11.     <name>yarn.resourcemanager.address</name>  
  12.     <value>${yarn.resourcemanager.hostname}:8032</value>  
  13.   </property>  
  14.   
  15.   <property>  
  16.     <description>The address of the scheduler interface.</description>  
  17.     <name>yarn.resourcemanager.scheduler.address</name>  
  18.     <value>${yarn.resourcemanager.hostname}:8030</value>  
  19.   </property>  
  20.   
  21.   <property>  
  22.     <description>The http address of the RM web application.</description>  
  23.     <name>yarn.resourcemanager.webapp.address</name>  
  24.     <value>${yarn.resourcemanager.hostname}:8088</value>  
  25.   </property>  
  26.   
  27.   <property>  
  28.     <description>The https adddress of the RM web application.</description>  
  29.     <name>yarn.resourcemanager.webapp.https.address</name>  
  30.     <value>${yarn.resourcemanager.hostname}:8090</value>  
  31.   </property>  
  32.   
  33.   <property>  
  34.     <name>yarn.resourcemanager.resource-tracker.address</name>  
  35.     <value>${yarn.resourcemanager.hostname}:8031</value>  
  36.   </property>  
  37.   
  38.   <property>  
  39.     <description>The address of the RM admin interface.</description>  
  40.     <name>yarn.resourcemanager.admin.address</name>  
  41.     <value>${yarn.resourcemanager.hostname}:8033</value>  
  42.   </property>  
  43.   
  44.   <property>  
  45.     <description>List of directories to store localized files in. An   
  46.       application's localized file directory will be found in:  
  47.       ${yarn.nodemanager.local-dirs}/usercache/${user}/appcache/application_${appid}.  
  48.       Individual containers' work directories, called container_${contid}, will  
  49.       be subdirectories of this.  
  50.    </description>  
  51.     <name>yarn.nodemanager.local-dirs</name>  
  52.     <value>/data/hadoop/yarn/local</value>  
  53.   </property>  
  54.   
  55.   <property>  
  56.     <description>Whether to enable log aggregation</description>  
  57.     <name>yarn.log-aggregation-enable</name>  
  58.     <value>true</value>  
  59.   </property>  
  60.   
  61.   <property>  
  62.     <description>Where to aggregate logs to.</description>  
  63.     <name>yarn.nodemanager.remote-app-log-dir</name>  
  64.     <value>/data/tmp/logs</value>  
  65.   </property>  
  66.   
  67.   <property>  
  68.     <description>Amount of physical memory, in MB, that can be allocated   
  69.     for containers.</description>  
  70.     <name>yarn.nodemanager.resource.memory-mb</name>  
  71.     <value>2048</value>  
  72.   </property>  
  73. <property>  
  74.     <name>yarn.scheduler.minimum-allocation-mb</name>  
  75.     <value>512</value>  
  76. </property>  
  77. <property>  
  78.     <name>yarn.nodemanager.vmem-pmem-ratio</name>  
  79.     <value>1.0</value>  
  80. </property>  
  81. <property>  
  82.     <name>yarn.nodemanager.vmem-check-enabled</name>  
  83.     <value>false</value>  
  84. </property>  
  85. <!--   
  86. <property>  
  87.      <description>The class to use as the resource scheduler.</description>  
  88.          <name>yarn.resourcemanager.scheduler.class</name>  
  89.              <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>  
  90.                </property>  
  91.   
  92.   <property>  
  93.       <description>fair-scheduler conf location</description>  
  94.           <name>yarn.scheduler.fair.allocation.file</name>  
  95.               <value>${yarn.home.dir}/etc/hadoop/fairscheduler.xml</value>  
  96.                 </property>  
  97. -->  
  98. <property>  
  99.     <name>yarn.nodemanager.resource.cpu-vcores</name>  
  100.     <value>1</value>  
  101. </property>  
  102.   <property>  
  103.     <description>the valid service name should only contain a-zA-Z0-9_ and can not start with numbers</description>  
  104.     <name>yarn.nodemanager.aux-services</name>  
  105.     <value>mapreduce_shuffle</value>  
  106.   </property>  
  107.   <property>  
  108.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  109.       <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  110.       </property>  
  111. </configuration>
複製代碼

2. Java調用Hadoop2.6 ，運行MR程序：
需修改下面兩個地方：

1） 調用主程序的Configuration須要配置：
  1. Configuration conf = new Configuration();  
  2.       
  3.     conf.setBoolean("mapreduce.app-submission.cross-platform", true);// 配置使用跨平臺提交任務  
  4.     conf.set("fs.defaultFS", "hdfs://node101:8020");//指定namenode    
  5.     conf.set("mapreduce.framework.name", "yarn");  // 指定使用yarn框架  
  6.     conf.set("yarn.resourcemanager.address", "node101:8032"); // 指定resourcemanager  
  7.     conf.set("yarn.resourcemanager.scheduler.address", "node101:8030");// 指定資源分配器  
複製代碼

2） 添加下面的類到classpath：
 

==
 


==
 

其餘地方不用修改，這樣就能夠運行；


3. Web程序調用Hadoop2.6，運行MR程序；

程序能夠在
百度網盤：
連接：http://pan.baidu.com/s/1cv7WU 密碼：x7c9

java web程序調用hadoop2.6 下載


這個web程序調用部分和上面的java是同樣的，基本都沒有修改，所使用到的jar包也所有放在了lib下面。

最後有一點，我運行了三個map，可是三個map不是均勻分佈的：
  能夠看到node103分配了兩個map，node101分配了1一個map；還有一次是node101分配了兩個map，node103分配了一個map；兩次node102都沒有分配到map任務，這個應該是資源管理和任務分配的地方仍是有點問題的緣故。
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程