spark streaming集成kafka接收數據的方式

spark streaming是以batch的方式來消費，strom是準實時一條一條的消費。當然也可以使用trident和tick的方式來實現batch消費(官方叫做mini batch)。效率嘛，有待驗證。不過這兩種方式都是先把數據從kafka中讀取出來，然後緩存在內存或者第三方，再定時處理。如果這時候集羣退出，而偏移量又沒處理好的話，數據就丟掉了。 而spark streaming提供了兩種獲

>>阅读原文<<