Spark運行在Standalone模式下產生的臨時目錄的問題

Spark 的Job任務在運行過程當中產生大量的臨時目錄位置，致使某個分區磁盤寫滿，主要緣由spark運行產生臨時目錄的默認路徑/tmp/spark* 項目中使用的版本狀況 Hadoop: 2.7.1 Spark:1.6.0 JDK:1.8.0 一、項目運維需求 線上的Spark的集羣相關/tmp/spark-* 日誌會把 /分區磁盤寫滿，建議優化應用程序或更改日誌路徑到/home/ 子目錄下 二

>>阅读原文<<