走進大數據丨 ETL - 性能分析

ETL過程中難免遇到性能問題,運行很慢是一件較常見的事情,遇到這些問題時,我們該如何分析,解決呢?首先我們要找到問題出在哪裏,也就是系統的瓶頸在哪. 確定環境是否有瓶頸:檢查資源是否有效配置,也就是要確定是由CPU、內存、I/O和網絡等產生的瓶頸，還是由ETL處理過程產生的瓶頸。 根據數據特徵,確定分區分桶: 分區字段選擇:一般原則爲根據系統的業務類型來分則分區字段。通常來講事實表是數據都包含時間

>>阅读原文<<