kafka-消息防丟失和消息去重

如何防止數據丟失 生產者：同步發送消息，且消息配置爲-1或all，leader分區和全部follwer都寫到磁盤裏。node 異步模式下，爲防止緩衝區滿，能夠在配置文件設置不限制阻塞超時時間，當緩衝區滿時讓生產者一直處於阻塞狀態。web 生產者：手動提交，即讀取到消息後，確認消息消費完畢，才手動提交offset。可是要避免邏輯處理時間過長，致使鏈接超時，會使消息重複消費。redis 故kafka必

>>阅读原文<<