spark學習-60-源代碼:ContextCleaner清理器

  Spark運行的時候,會產生一堆臨時文件,臨時數據,好比持久化的RDD數據在磁盤上,沒有持久化的在內存中,好比shuffle的臨時數據等,若是每次運行完,或者沒有運行完殺掉了,不清理,會產生大量的無用數據,最終形成大數據集羣崩潰而死。java 初始化 ContextCleaner的初始化是在SparkContext中初始化的,這個功能默認是必須開 啓的。python _cleaner =
相關文章
相關標籤/搜索