Spark Streaming的容錯和數據無丟失機制（WAL機制）

實時的流式處理系統必須是7*24運行的，同時可以從各種各樣的系統錯誤中恢復，在設計之處，Spark Streaing就支持driver和worker節點的錯誤恢復。然後，在使用某些數據源的時候，錯誤恢復時輸入數據可能會丟失。在spark 1.2中，加入write ahead logs（日誌）這個初步方案用來改進恢復機制，保證數據的無丟失。 背景 spark和rdd的設計保證了集羣中worker節點

>>阅读原文<<