Spark Streaming + Kafka + Redis狀態管理 top100場景 Exactly Once
最近面試螞蟻金服一面的時候，和麪試官聊項目問題的時候，發現我這邊業務實現的top100場景好像沒有實現exactly once語義，我們項目的offset是存儲在zk中，然後業務處理完畢後，最後再提交offset更新到zk，這種時候就會出現一個問題就是如果業務處理完畢，數據已經更新到redis中進行了累加，然後offset更新zk沒成功宕機了，再次重啓的時候就會讀取老的offset導致數據重複
相關文章
- 1. Exactly-once Spark Streaming from Apache Kafka
- 2. Kafka+Spark Streaming保證exactly once語義
- 3. Spark Streaming中如何實現Exactly-Once
- 4. 實時流計算、Spark Streaming、Kafka、Redis、Exactly-once、實時去重
- 5. spark-steaming的exactly-once
- 6. 爲什麼 Spark Streaming + Kafka 無法保證 exactly once？
- 7. Spark學習筆記（4）Spark Streaming的Exactly-One的事務處理
- 8. Spark Streaming 之 Kafka 偏移量管理
- 9. Spark Streaming場景應用-Kafka數據讀取方式
- 10. spark版本定製四：Spark Streaming的Exactly-One的事務處理
- 更多相關文章...
- • HTTP狀態碼 - HTTP 教程
- • TiDB數據庫的應用場景 - NoSQL教程
- • Docker 清理命令
- • 使用阿里雲OSS+CDN部署前端頁面與加速靜態資源
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Exactly-once Spark Streaming from Apache Kafka
- 2. Kafka+Spark Streaming保證exactly once語義
- 3. Spark Streaming中如何實現Exactly-Once
- 4. 實時流計算、Spark Streaming、Kafka、Redis、Exactly-once、實時去重
- 5. spark-steaming的exactly-once
- 6. 爲什麼 Spark Streaming + Kafka 無法保證 exactly once？
- 7. Spark學習筆記（4）Spark Streaming的Exactly-One的事務處理
- 8. Spark Streaming 之 Kafka 偏移量管理
- 9. Spark Streaming場景應用-Kafka數據讀取方式
- 10. spark版本定製四：Spark Streaming的Exactly-One的事務處理