Spark+Kafka的Direct方式將偏移量發送到Zookeeper的實現

Apache Spark 1.3.0引入了Direct API，利用Kafka的低層次API從Kafka集羣中讀取數據，並且在Spark Streaming系統裏面維護偏移量相關的信息，並且通過這種方式去實現零數據丟失(zero data loss)相比使用基於Receiver的方法要高效。但是因爲是Spark Streaming系統自己維護Kafka的讀偏移量，而Spark Streaming系

>>阅读原文<<