Spark Streaming 流計算優化記錄(4)-時間都去哪兒了,關於調度與空轉

6. 時間都去where了,青春不能等,調度也是 除了上述優化, 我們還注意到一個奇怪的現象:   怎麼回事, 即使接收不到消息都要花掉5秒?!! 雖然Spark Streaming空轉依然會產生空task, 這些空task依然會消耗序列化, 壓縮, 調度等時間, 但也不至於那麼多吧!!! 我們拿一個Stage看看, 就拿處理Kafka消息的那個Stage作例子吧:   Kafka沒有任何消息進來

>>阅读原文<<