Spark Streaming的系統架構

傳統流處理系統架構 流處理架構的分佈式流處理管道執行方式是，首先用數據採集系統接收來自數據源的流數據，然後在集羣上並行處理數據，最後將處理結果存放至下游系統。 爲了處理這些數據，傳統的流處理系統被設計爲連續算子模型，其工作方式如圖 1 所示。 系統包含一系列的工作結點，每組結點上運行一至多個連續算子。對於流數據，每個連續算子（ContinuousOperator）一次處理一條記錄，並且將記錄傳輸給

>>阅读原文<<