Spark On YARN使用時上傳jar包過多致使磁盤空間不夠。。。

今天測試過程當中發現YARN Node變成Unhealthy了,後來定位到硬盤空間不夠。。。。。html

經過查找大於100M的文件時發現有N多個spark-assembly-1.4.0-SNAPSHOT-hadoop2.5.0-cdh5.3.1.jar包,大小爲170多M,app

每提交一個application到yarn上執行,就會上傳一個assembly包,application個數一多,磁盤就本佔用了N多空間。。。。oop

解決方法參見【Spark On Yarn中spark.yarn.jar屬性的使用測試

相關文章
相關標籤/搜索