公司研究BI項目也有了快三個月時間,在這兒對成果作一個總結。 前端
BI流程: mysql
需求分析->維度設計->查詢service->ETL倒數據->CDC監聽數據庫 sql
需求分析:這個過程須要肯定好數據來源(多個數據庫+excel文件+日誌+...),須要的數據查詢項(measure值) 數據庫
維度設計: oracle
分析維度出發點,幾個w:who ,where,when,what,how,why 框架
建維度表 工具
經過畫總線矩陣來減小事實表個數 設計
查詢service:最後肯定了前端使用開源框架saiku(使用了pentaho的mondrian來提供MDX到result的處理) 日誌
ETL工具:kettle(圖形化界面,數據處理思想相似於awk工具) excel
CDC監聽:使用tungsten(實現了mysql的log監聽,但對oracle的redolog的監聽實現並不完美)。