sparkstreaming的執行流程

sparkstreaming是準實時處理框架(微批處理:可以設置時間間隔) 通過上圖總結:     receiver task 是 7*24h一直在執行,一直接收數據,將接受到的數據保存到batch(該一批次的時間間隔bacth interval是自己寫的,本例中是5s即batch interval=5s)中,那麼就把接收到的數據每隔5s切割刀一個batch中,因爲batch是沒有分佈式計算特性的
相關文章
相關標籤/搜索