SparkStreaming實時計算的框架和執行過程

SparkStreaming 爲每一個數據源啓動對應的Reciver（接收器），接收器以任務的形式運行在應用的Executor（執行器）進程中，從輸入源接收數據 ，把數據分組爲小的批次（batch），保存爲RDD。然後把數據複製到另一個Executor中備份，保障容錯性。 然後我們根據這框架來談一談SparkStreaming運行的具體流程： 1、客戶端提交作業後啓動Driver，通過Driver

>>阅读原文<<