Spark Streaming checkpoint整體架構原理

StreamingContext會初始化一些內部的關鍵組件:DstreamGraph/ReceiverTraker/JobGenerator/JobScheduler DstreamGraph:表示各個Dstream之間的依賴關係。 JobGenerator:根據DstreamGraph定義的算子和各個Dstream之間的依賴關係去生成一個job,job的初始RDD,就是剛創建的batch對應的R
相關文章
相關標籤/搜索