SparkStreaming部分：SparkStreaming+Kafka 的direct模式【圖片+文字說明】

direct是一對一的模式，相對於receiver模式，簡化了並行度，沒有使用zookeeper來維護消費者偏移量，默認用spark來維護消費者偏移量，默認保存在內存中，如果設置了checkpoint的話，會保存在checkpoint中。（receiver中是藉助於zookeeper來維護消費者偏移量的），是低級API來實現的。 消費數據的時候，假如有200條數據，上一次消費到100條，下一次接着

>>阅读原文<<