基於Kubernetes的瓜子云的任務調度系統

很大的挑戰。 接下來我講詳細介紹一下瓜子云的任務調度系統搭建所遇到的問題和解決方案。 需求 瓜子最早的時候，任務調度用的是Crontab，後來由於數據倉庫 的複雜調度需求，我們引入了Airflow。Airflow支持DAG依賴，失敗重試，歷史狀態記錄，log收集等多種非常使用的功能。 Airflow有很多問題： Airflow的Worker需要手動搭建，可擴展性不好。 Job代碼更新之後，需要手動

>>阅读原文<<