Flink DataStream流表與維表Join(Async I/O)

在Flink 流處理過程當中,常常須要和外部系統進行交互,如維度補全,用維度表補全事實表中的字段。默認狀況下,在MapFunction中,單個並行只能用同步方式去交互: 將請求發送到外部存儲,IO阻塞,等待請求返回,而後繼續發送下一個請求。這種同步交互的方式每每在網絡等待上就耗費了大量時間。爲了提升處理效率,能夠增長MapFunction的並行度,但增長並行度就意味着更多的資源,並非一種很是好的解
相關文章
相關標籤/搜索