如何設計可擴展和可維護的ETL

人們通常會低估ETL設計，並從一個簡單的想法開始，然後這個想法逐漸發展爲包含其他功能和轉換，直到最終變得非常混亂。 用手指交叉睡覺時，IT會頭疼，一切都會失敗。 這樣的ETL看起來像這樣： 有一些要求可以幫助維護ETL： 能夠重新啓動/恢復過程 有關執行歷史和問題的結構化信息 外部配置 監控API 輕鬆恢復故障 爲了實現上述所有目標，我們可以遵循一些步驟。 ETL原子性 這只是將我們的ETL分解爲

>>阅读原文<<