streamsets 數據流設計

streamsets 支持branch(分支)&& merge(合併)模式的數據流html

branch 數據流

以下圖:
咱們能夠根據數據包含的字段進行拆分,不一樣的數據流處理本身關注的數據
ide

merge 合併數據流

以下圖:
能夠將多個數據流,發送到同一個stage(階段),可是不是進行數據的合併,數據的處理須要其餘的組件(stage)處理,注意,pipeline
的校驗,不進行重複數據的處理,這個須要本身進行處理邏輯的配置,同時event stream 是沒法進行合併的,具體能夠參考
Dataflow Triggers Overview
ui

參考資料

https://streamsets.com/documentation/datacollector/latest/help/datacollector/UserGuide/Pipeline_Design/DesigningDataFlow.html#concept_ad4_gpy_bthtm

相關文章
相關標籤/搜索