sparkstreaming讀取kafka的兩種方式

spark streaming提供了兩種獲取方式，一種是同storm一樣，實時讀取緩存到內存中;另一種是定時批量讀取。 這兩種方式分別是： Receiver-base Direct 一 、Receiver-base： Spark官方最先提供了基於Receiver的Kafka數據消費模式。不過這種方式是先把數據從kafka中讀取出來，然後緩存在內存，再定時處理。如果這時候集羣退出，而偏移量又沒處理好

>>阅读原文<<