sparkstreaming消費kafka數據,若是發生消息積壓,如何處理?

1.首先是爲何會發生消息積壓? 緣由 在默認狀況下,SparkStreaming 經過receivers(或者Direct方式)以生產者生產數據的速率接收數據。當Batch procecing time > batch interval 的時候,也就是每一個批次數據處理的時間要比SparkStreaming批處理間隔時間長;愈來愈多的數據被接收,可是數據的處理速度沒有跟上,致使系統開會出現數據堆積
相關文章
相關標籤/搜索