Spark+Kafka的Direct方式將偏移量發送到Zookeeper實現

2019獨角獸企業重金招聘Python工程師標準>>> 　Apache Spark 1.3.0引入了Direct API，利用Kafka的低層次API從Kafka集羣中讀取數據，並且在SparkStreaming系統裏面維護偏移量相關的信息，並且通過這種方式去實現零數據丟失(zero data loss)相比使用基於Receiver的方法要高效。但是因爲是Spark Streaming系統自己維護

>>阅读原文<<