data pipeline管理工具 airflow

      什麼是ETL ETL 是常用的數據處理，在以前的公司裏，ETL 差不多是數據處理的基礎，要求非常穩定，容錯率高，而且能夠很好的監控。ETL的全稱是 Extract，Transform，Load， 一般情況下是將亂七八糟的數據進行預處理，然後放到儲存空間上。可以是SQL的也可以是NoSQL的，還可以直接存成file的模式。 一開始我的設計思路是，用幾個cron job和celery來ha

>>阅读原文<<