Spark Streaming 容錯機制分析

SparkStreaming實時流處理系統需要長時間接受並處理數據，對於SparkStreaming的容錯性主要通過以下三種方式：   第一、利用Spark自身的容錯設計、存儲級別和RDD抽象設計能夠處理集羣中任何worker節點的故障。 第二、由於Spark運行的多種模式，其Driver端可能運行在Master節點或者在集羣中的任意節點，讓Driver端具備容錯能力是一個很大挑戰，但是由於Spa

>>阅读原文<<