Spark Streaming整合kafka實戰

kafka做爲一個實時的分佈式消息隊列,實時的生產和消費消息,這裏咱們能夠利用SparkStreaming實時計算框架實時地讀取kafka中的數據而後進行計算。在spark1.3版本後,kafkaUtils裏面提供了兩個建立dstream的方法,一種爲KafkaUtils.createDstream,另外一種爲KafkaUtils.createDirectStream。node 1.KafkaUt
相關文章
相關標籤/搜索