kafka+spark-streaming實時推薦系統性能優化筆記

1) --conf spark.dynamicAllocation.enabled=false 如果正在使用的是CDH的Spark，修改這個配置爲false；開源的Spark版本則默認是false。 當爲true時，即使指定了num-executors個數，spark-streaming應用也會佔用整個集羣的資源。   2) --conf spark.streaming.concurrentJob

>>阅读原文<<