sparkstreaming的執行流程

sparkstreaming是準實時處理框架(微批處理:能夠設置時間間隔) 框架 經過上圖總結:分佈式     receiver task 是 7*24h一直在執行,一直接收數據,將接受到的數據保存到batch(該一批次的時間間隔bacth interval是本身寫的,本例中是5s即batch interval=5s)中,那麼就把接收到的數據每隔5s切割刀一個batch中,由於batch是沒有分佈
相關文章
相關標籤/搜索