Spark Streaming時間間隔性能測試

SparkStreaming能支持的最短期間隔取決於數據源產生的速度，及對RDD的操做。本文針對同一數據源（日誌由spark實時收集），測試RDD幾種操做對應的合適的時間間隔。時間間隔time以以下形式做用於spark streaming： new StreamingContext(sparkConf, Milliseconds(time.toLong)) 測試數據源： log data with

>>阅读原文<<