Spark學習筆記(21)動態Batch Size深入

本期內容: 1. 動態Batch Size深入 2. RateController解析 1. 動態Batch Size深入 Dynamic Batch Size的方法實際在Spark Streaming中還沒實現。論文中的解決方案: Fixed-point Iteration。 論文中有個比較重要的圖: 基本思想:按100ms的批次發數據給Controller,Controller起初直接轉給Jo
相關文章
相關標籤/搜索