spark調優總結

  1.sparkseaming     從圖上能夠看到，Batch Interval的間隔是5s，也就是說每通過5s，SparkStreaming會將這5s內的信息封裝成一個DStream,而後提交到Spark集羣進行計算html   1.1執行流程java     第一個 DStream 裏面是 0-5s 的數據，在第6s的時候會觸發 DStream 的job執行，這時會另啓動一個線程執行這個

>>阅读原文<<