SparkStreaming 高可靠分析

背景 爲了理解Spark Streaming提供的語義，讓我們記住Spark的RDD的基本容錯語義。 1. RDD是一個不可改變的，確定性可重新計算的分佈式數據集。每個RDD都會記住在容錯輸入數據集上使用的確定性操作的譜系來創建它。 1. 如果RDD的任何分區由於工作節點故障而丟失，則可以使用操作沿襲從原始容錯數據集重新計算該分區。 1. 假設所有RDD轉換都是確定性的，最終轉換的RDD中的數據總

>>阅读原文<<