SparkStreaming並行度屬性設置

SparkStreaming並行度屬性設置 spark.streaming.blockInterval:該屬性是對BatchInterval的進一步細化切分。將一個BatchInterval的數據喜歡切分成更小的block,一個block對應一個Spark Partition。   BatchInterval的數據對應RDD blockInterval的數據對應RDD中的Partition   所
相關文章
相關標籤/搜索