Spark streaming+Kafka調優

Spark streaming+Kafka的使用中，當數據量較小，很多時候默認配置和使用便能夠滿足情況，但是當數據量大的時候，就需要進行一定的調整和優化，而這種調整和優化本身也是不同的場景需要不同的配置。 合理的批處理時間（batchDuration） 幾乎所有的Spark Streaming調優文檔都會提及批處理時間的調整，在StreamingContext初始化的時候，有一個參數便是批處理時間

>>阅读原文<<