Spark Streaming 實現思路與模塊概述

Spark Streaming 的整體模塊劃分： 模塊 1：DAG 靜態定義–靜態的RDD DAG模板 模塊 2：Job 動態生成–動態的工作控制器 模塊 3：數據產生與導入–原始數據的產生和導入 模塊 4：長時容錯–長時運行任務的保障 Spark Streaming 與 Spark Core 的關係可以用下面的經典部件圖來表述： 在本節，我們先探討一下基於 Spark Core 的 RDD AP

>>阅读原文<<