sparkstreaming優化

  一、合理的Kafka拉取量：設置Spark Streaming最大數據接收率 - 如果運行Streaming應用程序的資源不是很多，數據處理能力跟不上接收數據的速率，可以爲應用程序設置一個每秒最大接收記錄數進行限制。對於Receiver模式的應用，設置spark.streaming.receiver.maxRate，對於Direct Kafka模式，設置spark.streaming.kafk

>>阅读原文<<