Spark Streaming 反壓（Back Pressure）機制介紹

背景 在默認情況下，Spark Streaming 通過 receivers (或者是 Direct 方式) 以生產者生產數據的速率接收數據。當 batch processing time > batch interval 的時候，也就是每個批次數據處理的時間要比Spark Streaming 批處理間隔時間長；越來越多的數據被接收，但是數據的處理速度沒有跟上，導致系統開始出現數據堆積，可能進一步

>>阅读原文<<