airflow總體架構

run命令運行過程 讀取dag文件生成task依賴關係,而後生成封裝airflow run的command命令,經過celery發送到executor端,從新執行該airflow run命令。web scheduler命令運行過程: 調度器經過SchedulerJob類run方法執行整個流程,包括使用多進程處理DagDir,包括生成Dag,產生DagRun,每一個DagRun下又生成多個TaskI
相關文章
相關標籤/搜索