SparkStreaming性能調優

1、數據接收並行度調優——建立更多的輸入DStream和Receiver 經過網絡接收數據時（好比Kafka，Flume），會將數據反序列化，並存儲在Spark的內存中。若是數據接收成爲系統的瓶頸，能夠考慮並行化數據接收。每一個輸入DStream都會在某個Worker的Executor上啓動一個Receiver，該Receiver接收一個數據流。所以能夠經過建立多個輸入DStream，並配置它們接

>>阅读原文<<