sparkstreaming:讀取kafka的兩種方式

spark streaming提供了兩種獲取方式,一種是同storm一樣,實時讀取緩存到內存中;另一種是定時批量讀取。 這兩種方式分別是: Receiver-base Direct   一 、Receiver-base: Spark官方最先提供了基於Receiver的Kafka數據消費模式。不過這種方式是先把數據從kafka中讀取出來,然後緩存在內存,再定時處理。如果這時候集羣退出,而偏移量又沒處
相關文章
相關標籤/搜索