第21課：Spark Streaming中動態Batch Size深刻及RateController

本期內容：

1，動態Batch Size深刻

2，RateController解析

 

Spark Streaming中採用的模型以下，基本思想是按照100ms的批次發送數據給Controller，剛開始Controller直接轉給JobGenerator，JobGenerator在生成Job，交給JobProcessor來處理，JobProcessor將job統計信息發送給Controller，Controller接收到統計信息，會動態改變Batch Size來給Job發送數據。

 

RateController的子類有ReceiverRateController、DirectKafkaRateController。

ReceiverRateController會向receiverTracker發送UpdateReceiverRateLimit消息。

 

    ReceiverTracker接收到UpdateReceiverRateLimit消息後，向ReceiverSupervisorImpl轉發UpdateRateLimit消息。

 

    ReceiverSupervisorImpl接收到UpdateRateLimit消息後，調用BlockGenerator的updateRate方法，來控制數據的接收速度。

    BlockGenerator繼承自RateLimiter。