hadoop mapreduce錯誤

今天使用hadoop streaming調試用python寫的簡單mapreduce腳本,結果啓動job,進度卡住了,一直顯示map :0% reduce:0% java

檢查日誌發現有hadoop Too small initial heap的錯誤,查了下,是job啓動從java分配的堆內存過小致使沒法支持正常的map和reduce過程形成。 python

打開/conf/mapred-site.xml找到 oop

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx512</value>
<final>true</final>
</property> spa

看起來這個值彷佛單位不對,莫非是512字節?仍是512k?無論它,改爲1024m, 調試

重啓整個hadoop羣集,再次啓動mapreduce腳本,能正常map和reduce了。。 日誌

  
相關文章
相關標籤/搜索