spark--job物理執行圖

Job 物理執行圖 在 Overview 裏咱們初步介紹了 DAG 型的物理執行圖,裏面包含 stages 和 tasks。這一章主要解決的問題是:html 給定 job 的邏輯執行圖,如何生成物理執行圖(也就是 stages 和 tasks)?算法 一個複雜 job 的邏輯執行圖 代碼貼在本章最後。給定這樣一個複雜數據依賴圖,如何合理劃分 stage,並肯定 task 的類型和個數?apache
相關文章
相關標籤/搜索