Spark 和 kafka 集成 Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher)

Kafka 0.10 與 Spark Streaming 流集成在設計上與0.8 Direct Stream 方法相似。它提供了簡單的並行性，Kafka分區和Spark分區之間的1:1對應，以及對偏移量和元數據的訪問。然而，因爲新的集成使用了新的  Kafka consumer API 而不是簡單的API，因此在使用方面有顯著的差別。這個版本的集成被標記爲實驗性的，所以API有可能發生變化。htm

>>阅读原文<<