解析SparkStreaming和Kafka集成的兩種方式

spark streaming是基於微批處理的流式計算引擎,通常是利用spark core或者spark core與spark sql一起來處理數據。在企業實時處理架構中,通常將spark streaming和kafka集成作爲整個大數據處理架構的核心環節之一。 針對不同的spark、kafka版本,集成處理數據的方式分爲兩種:Receiver based Approach和Direct Appr
相關文章
相關標籤/搜索