Spark學習筆記(25)Spark Streaming的JobGenerator源碼圖解

本期內容: 1. JobGenerator源碼 2. JobGenerator圖解 第6課曾經對JobGenarator生成Job的主要流程進行過一些剖析。這次在原有基礎上做一些補充。第6課給出了以下生成Job的相關類的主流程圖: 以下圖也給出了JobGenerator的更多的工作流程供參考: JobGenerator用於從DStream產生作業,驅動checkpoint,清理DStream元數據
相關文章
相關標籤/搜索