airflow 和 pycharm 相關基礎知識請看其餘博客python
咱們在使用 airflow的 dag時。 每次寫完不知道對不對的,總不能到頁面環境中跑一下,等到報錯再調試吧。這是很讓人惱火的事情mysql
這裏我想分享 如何用 pycharm 對 airflow 進行調試web
airflow的運行環境,依賴於 airflow.cfg和 airflow_home,sql
pycharm 的項目目錄應該和 airflow_home 相同目錄。vim
1. airflow的配置 測試
詳細配置看請看其餘博客,這裏只是表名個人 airflow_home = /data/airflowurl
[core]
dags_folder = /data/airflow/dagsspa
# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /data/airflow/logs3d
plugins_folder = /data/airflow/plugins調試
sql_alchemy_conn = mysql://airflow:airflow@IP:3306/airflowtest
broker_url = sqla+mysql://airflow:airflow@IP:3306/airflowtest
2. 啓動webserver 模式下airflow
airflow webserver -D
airflow scheduler -D
airflow workder -D
3. 在/data/airflow/dags 下新建範例 dag
vim hello_world.py
from datetime import datetime from airflow import DAG from airflow.operators.dummy_operator import DummyOperator from airflow.operators.python_operator import PythonOperator def print_hello(): print ('hello my name is fanglianchao') return 'Hello world!' dag = DAG('hello_world', description='Simple tutorial DAG', schedule_interval='0 12 * * *', start_date=datetime(2017, 3, 20), catchup=False) dummy_operator = DummyOperator(task_id='dummy_task', retries=3, dag=dag) hello_operator = PythonOperator(task_id='hello_task', python_callable=print_hello, dag=dag) dummy_operator >> hello_operator ~
4.執行測試:
若是如下測試成功,就表明安裝成功了, 能夠到 web 裏面 觸發執行看看
airflow test hello_world hello_task 2019-10-10
5. pycharm 項目配置
執行這個dag
編輯這個dag 配置文件