SparkStreaming集成Kafka,讀取Kafka中數據,進行數據統計計算

簡單瞭解一下Kafka:是一種高吞吐量的分佈式發佈訂閱消息系統。依賴Zookeeper,所以搭建Kafka的時候須要事先搭建好Zookeeper。體系結構以下:html 當SparkStreaming與Kafka作集成的時候Kafka成了Streaming的高級數據源,因爲Spark Streaming和Kafka集成的時候,依賴的jar包比較多,並且還會產生衝突。強烈建議使用Maven的方式來搭
相關文章
相關標籤/搜索