[HADOOP問題] 常見問題解決

博客原文：
hackershell

問題1：在程序的日誌中看到，在reduce階段出現了異常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序裏須要打開文件，系統默認爲1024，也能夠經過ulimit -a查看

編輯文件/etc/security/limits.conf 在文件後面添加：

# End of file
*       soft       nofile  102400
*       hard       nofile  409600

遇到這種錯誤網上也有不一樣的可能解決方法和解釋，大家能夠本身找找。

問題2： yarn日誌頁面出現異常：

Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file:
   /tmp/hsperfdata_hdp/6676
Try using the -Djava.io.tmpdir= option to select an alternate temp location

緣由是根目錄空間不足，解決問題的辦法之一是清理根目錄下沒必要要的文件，解決辦法二就是，上面也就有提示了，很少說了。

/tmp/hsperfdata_username 目錄的做用是什麼呢？

jvm運行時在linux下默認在/tmp下生成上面的目錄，目錄下存放pid文件，和一些jvm進程信息，jmap、jstack等工具會讀取該目錄下的pid文件獲取連接信息

問題3： 當任務不能跑滿集羣的時，爲何集羣的節點會出現幾個節點跑滿容器，而其餘節點則很是空閒？

緣由是集羣調度器默認處於批處理模式下，一個心跳會盡量的分配任務，心跳先到達則會優先領取任務，咱們能夠經過參數yarn.scheduler.fair.max.assign參數設置爲1，就能夠大體的均衡任務到不一樣的節點

更新時間2015-07-18