SparkStreaming讀取kafka數據的兩種方式(receive與direct)對比

陳訴 大家都知道在spark1.3版本後,kafkautil裏面提供了兩個創建dstream的方法,一個是老版本中有的createStream方法,還有一個是後面新加的createDirectStream方法。總之,通過新方法創建出來的dstream的rdd partition和kafka的topic的partition是一一對應的,通過低階API直接從kafka的topic消費消息,默認將偏移量
相關文章
相關標籤/搜索