spark streaming的容錯機制

Worker節點 從Hdfs中讀取數據 Executor會將自身任務執行的元數據信息彙報給Driver,Driver將其記錄到日誌中。當一個Executor掛掉後，Driver可以根據該日誌重啓一個Executor,又因爲數據依然存放在Hdfs中。所以容錯OK。 從kafka，flume這種數據源 它的問題在於Driver重啓Executor後，還需要原來的數據。Spark Streaming引入

>>阅读原文<<