Spark Streaming反壓

  在默認情況下,Spark Streaming 通過 receivers (或者是 Direct 方式) 以生產者生產數據的速率接收數據。當 batch processing time > batch interval 的時候,即每個批次數據處理的時間要比 Spark Streaming 批處理間隔時間長;越來越多的數據被接收,但是數據的處理速度沒有跟上,導致系統開始出現數據堆積,可能進一步導致
相關文章
相關標籤/搜索