spark調優總結

  1.sparkseaming     從圖上可以看到，Batch Interval的間隔是5s，也就是說每經過5s，SparkStreaming會將這5s內的信息封裝成一個DStream,然後提交到Spark集羣進行計算   1.1執行流程     第一個 DStream 裏面是 0-5s 的數據，在第6s的時候會觸發 DStream 的job執行，這時會另啓動一個線程執行這個job(假設這個

>>阅读原文<<