BI項目小總結

公司研究BI項目也有了快三個月時間,在這兒對成果作一個總結。 前端

BI流程: mysql

需求分析->維度設計->查詢service->ETL倒數據->CDC監聽數據庫 sql

需求分析:這個過程須要肯定好數據來源(多個數據庫+excel文件+日誌+...),須要的數據查詢項(measure值) 數據庫

維度設計: oracle

            分析維度出發點,幾個w:who ,where,when,what,how,why 框架

            建維度表 工具

            經過畫總線矩陣來減小事實表個數 設計

查詢service:最後肯定了前端使用開源框架saiku(使用了pentaho的mondrian來提供MDX到result的處理) 日誌

ETL工具:kettle(圖形化界面,數據處理思想相似於awk工具) excel

CDC監聽:使用tungsten(實現了mysql的log監聽,但對oracle的redolog的監聽實現並不完美)。

相關文章
相關標籤/搜索