Spark Streaming和Kafka 參數調優

https://www.jianshu.com/p/5c20e5bc402c 再談Spark Streaming Kafka反壓   batchDuration     :每隔batchDuration秒,切分成一個數據塊(RDD)  上圖中數據流也可以抽象爲DStream,其內部也是很多RDD的集合 注意batchDuration和批處理時間的差別 有幾個問題: batchDuration   
相關文章
相關標籤/搜索