字節跳動 Flink 單點恢復功能實踐

背景 在字節跳動的實時計算場景中,我們有很多任務(數量 2k+)會直接服務於線上,其輸出時延和穩定性會直接影響線上產品的用戶體驗,這類任務通常具有如下特點: 流量大,併發高(最大的任務並行度超過 1w) 拓撲類似於多流 Join,將各個數據源做整合輸出給下游,不依賴 Checkpoint 沒有使用 Checkpoint 並且對短時間內的小部分數據丟失不敏感(如 0.5%),但對數據輸出的持續性要求
相關文章
相關標籤/搜索