Flink 原理架構總結

一、流式任務執行過程 1.任務並行      按照自己的理解,一個流程如下圖所示,除非經歷shuffle過程,否則流程並行度將由source的並行度決定,比如kafka分區數目,shuffle之後的並行度,可能會改變,Operator子任務(Task)彼此獨立,並且可以在不同的線程中執行,並且可能在不同的機器或容器上執行。 2.OperatorChain     原理同Spark 的Satge劃分
相關文章
相關標籤/搜索