SparkStreaming動態感知kafka某個topic下partition

說明SparkStreaming動態感知kafka某個topic下partition,需要對kafka版本區分來看。 kafka 0.8版本 結論:kafka 0.8版本和Spark Streaming結合的DirectStream這種形式的API裏面,是不支持kafka新增分區或者topic檢測的。 所以如果想讀取新的分區中的數據,那麼就得重新啓動Spark Streaming應用。 原因:Di
相關文章
相關標籤/搜索