Spark 之 排錯與優化

轉自：http://blog.csdn.net/lsshlsw/article/details/49155087java 一. 運維 1. Master掛掉,standby重啓也失效 Master默認使用512M內存，當集羣中運行的任務特別多時，就會掛掉，緣由是master會讀取每一個task的event log日誌去生成spark ui，內存不足天然會OOM，能夠在master的運行日誌中看到，

>>阅读原文<<