在 Flink 算子中使用多線程如何保證不丟數據?

分析痛點 筆者線上有一個 Flink 任務消費 Kafka 數據,將數據轉換後,在 Flink 的 Sink 算子內部調用第三方 api 將數據上報到第三方的數據分析平臺。這裏使用批量同步 api,即:每 50 條數據請求一次第三方接口,可以通過批量 api 來提高請求效率。由於調用的外網接口,所以每次調用 api 比較耗時。假如批次大小爲 50,且請求接口的平均響應時間爲 50ms,使用同步 a
相關文章
相關標籤/搜索