Spark源碼閱讀筆記之MetadataCleaner

MetadataCleaner運行定時任務週期性的清理元數據（metadata），有6種類型的元數據：MAP_OUTPUT_TRACKER，executor跟蹤各個map任務輸出的存儲位置的數據，根據spark.cleaner.ttl.MAP_OUTPUT_TRACKER設置清理時間，默認值爲-1，表示不清理；SPARK_CONTEXT，SparkContext中記錄緩存到內存中的RDD的數據結構

>>阅读原文<<