spark從入門到放棄五十三:Spark Streaming(13)緩存於持久化

與RDD 類似,spark Streaming 也可以讓開發人員手動控制,將數據流中的數據持久化到內存中。對DStream 調用persist ( ) 方法,就可以讓spark Streaming 自動將該數據流中的所有產生的RDD 都持久化到內存中。如果要對於一個DStream 多次執行操作,那麼對DStream 持久化是非常有用的。因爲多次操作,可以共享一份數據。 對於基於窗口的操作,例如re
相關文章
相關標籤/搜索