現在,信息時代正逐步向數據時代轉變,數據演變得愈來愈重要,它能夠反映出公司的經營狀況,爲公司的經營和決策提供準確的參考依據。而數據平臺是鏈接數據和企業的中間件,能夠將這些數據經過必定的規格,清晰地展現給企業領導。數據庫
對於企業搭建數據分析平臺,青島航空數據架構師戰學超強調,創建數據平臺要實現內部自下而上、自上而下的管理結合,只有得到業務層、領導層的承認和支持才能實現數據運營的持續發展。架構
什麼是數據平臺?oracle
數據平臺其實就是將公司全部的數據,包括銷售數據、財務數據、客戶數據,還有一些行業數據,進行收集整理,按照必定的主題展現。好比財務分析的主題,會囊括一些財務相關的報表,包括公司的盈利分析、虧損點分析等等。經過對這些主題的分析和展現,去準確展現公司的經營狀況,以及行業動態,從而爲公司的經營提供比較準確的科學指導,進而實現持久的盈利。 數據平臺會有一些原始數據,主要是銷售、財務等等及一些其餘數據,還有一些行業數據,好比家電行業的商業數據。數據加工和數據展現方面,除了日常的日報、月報、年報等報表展現,還有對應的銷售趨勢分析,庫存預警以及產品個性化推薦。分佈式
如何搭建如何數據平臺?工具
首要前提,公司要有本身的原始數據積累,而且要有數據生產系統,包括歷史數據的積累。oop
方法:自下而上與自上而下結合大數據
「下」是指公司的技術團隊、業務團隊、銷售等等,以及業務部門和IT部門。「上」是指部門的領導以及公司的高層,讓IT團隊和業務團隊一塊兒來推進這個事情,並與公司的領導層緊密地結合,上下一塊兒參與到數據平臺的搭建,只有這樣才能實現數據平臺的持久發展。優化
搭建的過程,溝通很重要。中間件
也許業務人員和IT團隊對於數據平臺的搭建有本身的想法,也想經過數據來給公司去作一些事情,可是公司的領導層可能多的依賴於自身的經驗,不必定會去相信數據平臺反饋的信息。得不到上層領導的支持,很容易致使搭建數據平臺過程當中的疲憊。接口
此外,上層領導可能但願去作一個數據平臺的加工,將全部的數據作一個統一的整理和展現。可是傳接到IT團隊和業務部門時,在實際應用中並非很重視,好比IT人員作的報表,並非業務人員想要的,致使彼此之間溝通不順暢,致使數據平臺搭建緩慢。
原則:快速迭代
在創建數據平臺時,能夠不判定一些目標,定一些主題,作成果展現,和業務人員以及領導分享,讓其參與評價和建議,不斷優化和改善,當相關人員都有參與感時,數據平臺纔會持久發展。
l 肯定數據平臺技術架構與肯定分析主題並行。
l 快速迭代,緩解業務部門手動分析壓力。
l 先出報表,積累業務經驗創建模型進行分析並不斷改進。
l 注意技術準與業務知識準備,以備滯後的大數據分析平臺和業務建模
數據平臺技術架構
架設全量DB是爲了減輕直接讀取生產環境的數據壓力,而且統一數據類型,方便跨庫,跨數據庫和文件的查詢處理。
數據倉庫是數據平臺必不可少的,但不是優先的。數據倉庫創建耗時費力,能夠逐步進行。
根據公司實際狀況劃分數據集市,而且根據業務規則結合自身經驗,創建起數據分析模型。
當ETL不足以支撐或是實時要求高SQL難以實現的時候,考慮Hadoop等分佈式計算。
數據平臺的搭建並非一蹴而就的,須要按部就班不斷快速迭代。同時也要有長遠眼光,儘可能避免推到重構。此外必定要注意時間控制和里程碑創建。
青島航空數據平臺建設
數據源方面,青島航空有B2C的官網、運行控制系統、MIS系統、呼叫中心、OTA和OA平臺。數據類型涵蓋oracle、MySQL、SqlServer、 Excel、TXT等,ETL工具採用Kettle,全量DB和數據倉庫以及數據集市採用MyOracle。
經過帆軟報表工具FineReport創建數據平臺,採用數據倉庫創建+報表展現+業務建模同時並行。現階段主要定了兩大集市,創建了財務對帳和收益分析兩種模型。
案例展現
使用帆軟做爲統一數據展現平臺。
旅客分佈圖能夠更清晰的幫助規劃航線
銷售趨勢實時報表能夠有效的預測公司的銷售,爲公司其餘部門提供準備依據。
經過對帳系統能夠解決財務流水與各銷售接口的明細,快速有效的解決死帳,壞帳等問題。
利用帆軟的調度郵件功能監控短信平臺的發送狀況。
航班配餐系統(報表)管理公司航班乘客的配餐。
參考帆軟提供的主題分析模塊結合公司的具體狀況,與業務同事結合,高效的規劃肯定了公司的分析主題的。