streamsets 支持branch(分支)&& merge(合併)模式的數據流html
以下圖:
咱們能夠根據數據包含的字段進行拆分,不一樣的數據流處理本身關注的數據
ide
以下圖:
能夠將多個數據流,發送到同一個stage(階段),可是不是進行數據的合併,數據的處理須要其餘的組件(stage)處理,注意,pipeline
的校驗,不進行重複數據的處理,這個須要本身進行處理邏輯的配置,同時event stream 是沒法進行合併的,具體能夠參考
Dataflow Triggers Overview
ui