airflow tips（qbit）

前言

• airflow 是 DAG(有向無環圖)的任務管理系統，簡單的理解就是一個高級版的 crontab。
• airflow 解決了 crontab 沒法解決的任務依賴問題。

相關連接

• airflow GitHub： https://github.com/apache/air...
• airflow 中文文檔： https://airflow.apachecn.org/
• celery GitHub： https://github.com/celery/celery
• ray GitHub： https://github.com/ray-projec...
• dask GitHub： https://github.com/dask/dask
• Scaling out Airflow with Celery and RabbitMQ to Orchestrate ETL Jobs on the Cloud

https://corecompete.com/scali...

parallelism、dag_concurrency、worker_concurrency

• Airflow認識：https://www.jianshu.com/p/7a8...

參數用中文解釋得很詳細

---

本文出自 qbit snap