Spark History Server 架構原理介紹

文章目錄 一、eventLog日誌文件以及相關參數 eventLog日誌文件介紹 相關配置參數 二、兩個定時任務 解析eventLog日誌文件線程 清理過期的eventLog日誌文件的線程 三、History Server的架構 緩存機制 四、一些潛在的問題 1. spark.history.retainedApplications 設置太大導致的OOM問題 2. eventLog 日誌文件過大導

>>阅读原文<<