Spark Streaming之運行原理

一 啓動流處理引擎 1.1初始化StreamingContext 首先須要初始化StreamingContext，在初始化的過程當中會對DStreamGraph、JobScheduler等進行初始化，DStreamGraph相似於RDD的有向無環圖，包含DStream之間相互依賴的有向無環圖；JobScheduler定時查看DStreamGraph，而後根據流入的數據生成運行做業緩存   1.2

>>阅读原文<<