spark調優總結

  1.sparkseaming     從圖上能夠看到,Batch Interval的間隔是5s,也就是說每通過5s,SparkStreaming會將這5s內的信息封裝成一個DStream,而後提交到Spark集羣進行計算html   1.1執行流程java     第一個 DStream 裏面是 0-5s 的數據,在第6s的時候會觸發 DStream 的job執行,這時會另啓動一個線程執行這個
相關文章
相關標籤/搜索