Spark Streaming 性能調優

目錄 1、合理的批次處理時間 2、合理的kafka拉取數據 3、緩存反覆使用的Dstream(RDD) 4、其他一些優化策略 5、結果 1、合理的批次處理時間 關於Spark Streaming的批處理時間設置是非常重要的，Spark Streaming在不斷接收數據的同時，需要處理數據的時間，所以如果設置過段的批處理時間，會造成數據堆積，即未完成的batch數據越來越多，從而發生阻塞。 另外值得

>>阅读原文<<