Spark Streaming原理與架構

簡介:Spark Streaming 是基於spark的流式批處理引擎，其基本原理是把輸入數據以某一時間間隔批量的處理，當批處理間隔縮短到秒級時，即可以用於處理實時數據流。web 計算流程:架構 將流試計算分解成一系列短小的批處理做業,批處理引擎是SparkCore 按照輸入數據的batch size（如1秒）,將數據分解成一段一段轉換成RDD Spark Streaming中對DStream的T

>>阅读原文<<