今天使用hadoop streaming調試用python寫的簡單mapreduce腳本,結果啓動job,進度卡住了,一直顯示map :0% reduce:0% java
檢查日誌發現有hadoop Too small initial heap的錯誤,查了下,是job啓動從java分配的堆內存過小致使沒法支持正常的map和reduce過程形成。 python
打開/conf/mapred-site.xml找到 oop
<property>
<name>mapred.child.java.opts</name>
<value>-Xmx512</value>
<final>true</final>
</property> spa
看起來這個值彷佛單位不對,莫非是512字節?仍是512k?無論它,改爲1024m, 調試
重啓整個hadoop羣集,再次啓動mapreduce腳本,能正常map和reduce了。。 日誌