Spark Streaming Quick Start

Spark Streaming的基本數據結構是DRDD(discretized stream),DRDD和RDD相似,可是引入了時間的概念。DRDD中三個最重要的時間變量 - windowDuration,每次處理的時間窗口大小 - slideDuration,本次處理和下一次處理之間的滑動時間間隔 - batchInterval,DRDD裏面每個RDD緩存的數據時間 html 爲了保證數據的可容
相關文章
相關標籤/搜索