Spark Streaming 調優指南

SparkStreaming是架構在SparkCore上的一個「應用」，SparkStreaming主要由DStreamGraph、Job的生成、數據的接收和導入以及容錯四大模塊組成，我們今天就從這四大模塊入手，看看每個模塊都有什麼樣的調優方式 1 DStreamGraph 其實這部分主要是算子的使用優化，這個跟Spark調優的內容是相同，在這一部分可以優化的內容有 重複使用的rdd進行cache

>>阅读原文<<