Spark Streaming整合flume實戰

flume作爲日誌實時採集的框架,可以與SparkStreaming實時處理框進行對接,flume實時產生數據,sparkStreaming做實時處理。Spark Streaming對接FlumeNG有兩種方式,一種是FlumeNG將消息Push推給Spark Streaming,還有一種是Spark Streaming從flume 中Poll拉取數據。 1.poll方式 (1)安裝flume1.
相關文章
相關標籤/搜索