spark streaning--批處理間隔 滑動間隔 窗口間隔

滑動間隔和窗口間隔必須是批處理間隔的整數倍。spark streaming會將一個批處理時間間隔收集到的數據彙總起來作爲一批數據讓系統來處理。對於窗口操作而言，其數據是一個窗口間隔內的，每隔一個滑動間隔滑動一次，一般情況下滑動間隔和批處理間隔一致。窗口操作會使得部分數據重複被計算，spark做了優化，會記錄重複計算的結果。

>>阅读原文<<