【總結】Spark Streaming和Kafka整合保證數據零丟失

當我們正確地部署好Spark Streaming,我們就可以使用Spark Streaming提供的零數據丟失機制。爲了體驗這個關鍵的特性,你需要滿足以下幾個先決條件:   1、輸入的數據來自可靠的數據源和可靠的接收器;   2、應用程序的metadata被application的driver持久化了(checkpointed );   3、啓用了WAL特性(Write ahead log)。  
相關文章
相關標籤/搜索