Spark Streaming 流計算優化記錄(3)-控制流量與join的地點

4. 流量控制 好像之前說過」一下子從Kafka拉取幾十萬條消息進行處理」的事情, 其實醬紫是不對滴, 飯要一口一口吃, 一下子吃太多, 會導致還沒吃成胖子就已經被撐死的. 所以我們要對爲了做壓力測試而早已在Kafka中囤積多時的幾十萬條消息分批次進行處理, 畢竟實際跑起的時候每秒擁入 我們知道, Spark Streaming進行流處理的原理是micro batch, 即把每秒或每幾秒這個時間窗

>>阅读原文<<