Spark Streaming的背壓機制(類比Storm雪崩)

       默認狀況下,SparkStremaing根據Receiver以生產者生產數據的速度來接收數據,可是在工做狀態下, 實際計算一個批次數據的時間通常要大於Streaming應用設置的批處理間隔。這就意味着Spark Streaming處理數據的速度要小於數據接收的速度, 數據處理能力低,致使數據所有堆積在內存中,進一步致使Receiver所在的Executor會發生內存溢出的問題。   
相關文章
相關標籤/搜索