尚硅谷Flink教程學習筆記(Flink運行時架構)

source 讀取數據源,rebalance 隨機重新分區,flatmap基於 hashcode 重分區,key aggregate 聚合操作,最後傳播到 sink 進行輸出 這裏面涉及到寬依賴和窄依賴的知識 比如說StreamWordCount代碼裏的filter、map、keyby就是一個任務鏈,當具有相同並行度的時候就會被Flink鏈接成一個任務鏈,也即看做一個task,裏面有三個算子fil
相關文章
相關標籤/搜索