SparkStreaming並行度的計算方式和設置(spark官方文檔介紹)

這是官網上的截圖: 通過網絡(例如Kafka,Flume,套接字等)接收數據需要對數據進行反序列化並將其存儲在Spark中。如果數據接收成爲系統的瓶頸,請考慮並行化數據接收。請注意,每個輸入DStream都會創建一個接收器(在工作計算機上運行),該接收器接收單個數據流。因此,可以通過創建多個輸入DStream並將其配置爲從源接收數據流的不同分區來實現接收多個數據流。例如,可以將接收兩個主題數據的單
相關文章
相關標籤/搜索