Stream 分佈式數據流的輕量級異步快照

原文來源:Stream 分佈式數據流的輕量級異步快照 1. 概述 分佈式有狀態流處理支持在雲中部署和執行大規模連續計算,主要針對低延遲和高吞吐量。這種模式的一個最根本的挑戰就是在可能的失敗情況下提供處理保證。現有方法依賴於可用於故障恢復的週期性全局狀態快照。這些方法有兩個主要缺點。首先,他們經常拖延影響數據攝取的整體計算過程。其次,持久化存儲所有傳輸中的記錄以及算子狀態,這會導致比所需的快照要更大
相關文章
相關標籤/搜索