Flink中邏輯計劃和物理計劃的概念劃分和對應關係

邏輯計劃

  1. logicGraph或者jobGraph,其端點爲operator,edge爲數據流向。
  2. operator每每表明一個函數。
  3. 同一個分區內的具備連續上下游關係的函數組成operator-chain,一個operator-chain內的數據來流動過程當中不會出現序列化和分區間的網絡通訊。數組

    物理計劃

  4. physicalGraph是邏輯執行計劃爲並行執行而翻譯的結果,其端點爲task,edge爲數據流向及數據分區。
  5. 一個task描述了一個operator或者operator-chain在分佈式環境下對應的執行實例,是最小的調度單元。
  6. 一個sub-task是處理分區數據的task在分佈式環境下的一個分身。
  7. 一個slot一時間只能執行一個sub-task(業務上一個slot一時間只能處理一條消息)。網絡

相關文章
相關標籤/搜索