【Spark Operator】集成Airflow

我們的任務流調度是採用 Airflow，畫出 DAG 之後再按序執行，其中 Etcd 是我們很重要的組件，所以封裝出一個 Airflow 的 Etcd Operator，然後將任務寫到 Etcd，而在集羣裏有個 Watcher 的程序會監聽 Etcd 任務的 key，一旦發現就會通過 Spark Operator 的 Spark Application Client 把任務提交到 api-serv

>>阅读原文<<