Kafka重複消費~SparkStreaming

1.問題描述 使用SparkStreaming鏈接Kafka的demo程序每次重啓，都會從Kafka隊列裏第一條數據開始消費。html 修改enable.auto.commit相關參數都無效。java 2.緣由分析 demo程序使用"KafkaUtils.createDirectStream"建立Kafka輸入流，此API內部使用了Kafka客戶端低階API，不支持offset自動提交（提交到zo

>>阅读原文<<