Spark Streaming容錯性

        在一個Spark Streaming應用開始時,相關的StreamingContext使用SparkContext啓動接收器Reciver成爲長駐運行任務。這些接收器接收並保存流數據到Spark內存中以供處理。如上圖: 接收數據:BlockIntervalTimer會每隔一段時間(默認200ms)將收集到的數據打包成一個block,存儲到Executor的內存或者磁盤中。如果啓動了
相關文章
相關標籤/搜索