【案例】Cognos + Kyligence:打造大數據時代的OLAP解決方案

做爲 Hadoop 原生的企業級 OLAP 大數據分析產品,Kyligence 是 IBM Cognos 在大數據場景下的最佳遷移方案,已經成爲金融企業替換 IBM Cognos 技術的主流選擇!
前端

本文將經過剖析金融企業使用 Cognos 中碰到的瓶頸問題,結合 Kyligence 在某保險企業與某大型金融公司的實際應用爲例,爲你們展現 Kyligence 是如何替換Cognos OLAP 後臺服務,提供基於分佈式架構的大數據 OLAP 能力,突破 Cognos 固有的支持維度數少、性能低、沒有單元格級別的 ACL 能力,沒法鏈接大數據平臺等侷限,並與 Cognos 報表工具無縫集成,幫助企業實現海量大數據上的亞秒級查詢體驗,賦能企業總體分析和決策效率。數據庫


前言編程

隨着企業向「互聯網+」和「金融科技」的轉型,數據量和數據分析需求都成爆發式增加,面對來自經營分析、客戶管理、精準營銷、風險防控等業務的分析需求, Cognos OLAP 組件在數據量、維度數量、維度基數、查詢速度、構建性能、併發能力等方面的不足以及高昂的使用成本使得企業用戶沒法基於其平臺充分應對大數據多維分析的挑戰。
架構

如某全國性金融機構,Cognos 的單次查詢時間平均在15分鐘,最長超過1小時,數據分析人員沒法進行多維分析,只能查看預先生成的固定報表。另外某國有銀行,爲了減小權限變更致使的數據刷新次數,一樣的分析主題須要爲每一個分行單獨構建 Cube,致使全行 Cube 數量超過 2,000 個,開發和運維壓力很是大。所以將企業級 OLAP 分析平臺從傳統技術遷移到適用超大規模數據集,特別是基於 Hadoop 平臺、原生的 OLAP 技術成爲愈來愈多國內外金融企業的選擇。併發


IBM Cognos 是傳統的商務智能(Business Intelligence)產品,進入市場早,功能較完善和穩定,成爲當時業界公認的主流 OLAP(Online Analytical Processing,聯機分析處理)產品之一,在銀行、保險、證券、電信等傳統行業有着普遍的使用。框架

最近幾年,不少企業開始基於 Hadoop 技術建設大數據分析平臺,以更好的支持企業對業務數據、用戶行爲數據、日誌數據,外部數據的融合分析,但 Cognos BI 對於 Hadoop 技術的兼容性差,以及 Cognos Power Cube 自己的技術侷限性,使得企業缺少在大數據平臺上進行 OLAP 多維交互式分析的能力。Kyligence 的產品做爲 Hadoop 原生的企業級 OLAP 大數據分析組件,可以提供 PB 級數據集上的亞秒級多維交互式查詢能力,目前已成爲金融企業替換 Cognos OLAP 技術的主流選擇。運維


保險案例Kyligence +Cognos BI融合分析實踐分佈式

以某國內大型保險公司爲例。在產險公司保費增速和綜合成本率雙優目標背景下,企業指望以管理會計的全新視角歸集財務成本,整合車險、非車險、渠道、費用等近4億業財數據進行細粒度多維分析,爲財務部門提供保單級數據多維經營分析和成本考覈。然而傳統 Cognos Power Cube 因爲自己技術架構的侷限性,沒法對業財整合後的海量數據實現高效分析,跨年多維分析的延遲經常慢到分鐘級;沒法知足對業財融合數據的數百個維度和指標進行靈活高效分析的需求,分析維度和分析指標偏少,單個分析場景僅能支持10個之內的維度的靈活組合分析;且分析時效滯後,分析預見性差以及回溯分析困難。
高併發

Kyligence 基於 Hadoop 分佈式技術框架,則將 Cube 能力提高到一個嶄新的層次——單一 Cube 支持數百TB甚至PB級源數據,Cube 維度和指標數目敏捷擴展,支持百萬級高基數維度分析,支持高併發數據查詢。Kyligence Cube 可以做爲數據源無縫鏈接 Cognos BI,在保留業務用戶使用習慣的同時,提高多維分析性能和體驗。工具

以績效考覈分析場景爲例,財務人員可以從分公司/中支公司/支公司/科室/經辦人、渠道、條線、代理點、等分賠付等 40+ 維度對做業成本項目進行責任單位的無限細分,秒級獲取 200+ 指標結果,有力地改善做業成本管理,實現精準績效考覈和精益化管理。


金融案例Kyligence替換Cognos,成爲企業OLAP平臺的新選擇

國內某大型金融公司從2007年開始將多維分析理念引入數倉系統,支撐了大量業務分析應用,2012年之後,隨着數據量增加,基於 Cognos OLAP 的多維分析平臺的一些弊端和技術限制開始顯現,例如日/月報數據準備時間長,月報構建時間超過三天,查詢性能不穩定,查詢延遲從秒到分鐘級,甚至小時級,給業務帶來極大的困擾。另外一方面,整個平臺的運維工做量也愈來愈大,有1,200個 Cube 支撐80%的分析應用,超過5,000個任務調度,給開發和運維帶來了巨大的負擔。另外,平臺在編程和擴展性,權限管理方面都存在瓶頸。

2018年,該企業在其建設的 Hadoop 大數據平臺上部署了 Kyligence 公司的智能數據分析平臺,向企業內外部提供大數據多維探索和分析服務。日批量由15小時減到2小時,數據準備時間縮減80%;經過1個 Kyligence Cube 替換數百個 Cognos Cube,IT 運維成本縮減90%;實現90%查詢響應小於3秒,業務分析效率獲得了顯著提高;支持在千萬級商戶粒度進行高性能交互式分析與數據探索,成功推進業務創新。


Kyligence + Cognos極大提高企業分析與決策效率

Kyligence 的產品是基於 Apache Kylin 的企業級智能大數據分析平臺,爲用戶提供PB級數據集上的亞秒級查詢能力。做爲 OLAP 數據源,Kyligence Cube 可以快速遷移和替換企業原有的 Cognos Power Cube,且無縫對接 Cognos 前端分析和展示組件,例如 Report Studio 和 Analysis Studio,在支持原有業務的同時,大幅加強對新需求、新業務的支撐能力,提高用戶在多維探索時的體驗。如下是 Kyligence 與 Cognos 的集成架構圖:

這裏實現了在 Kyligence 和 Cognos 的集成架構中使用同一套用戶和數據權限管理機制,顯著提高了管理效率,避免用戶屢次登陸。Kyligence 支持將傳統 RDBMS 數據庫做爲數據源,進行 Cube 構建,使得用戶無須搬遷底層數據,無須改變前端應用,採用快速而敏捷的方式加速業務交互式查詢體驗,賦能企業總體分析和決策效率。

如下是 Kyligence Cube 替換 Cognos PowerCube 後的架構對比圖。除了Cognos BI,Kyligence 也能和其餘BI工具例如 Tableau,Qlik,Power BI 進行無縫集成。


  • 本方案使用 Kyligence Cube 替換傳統Cognos Power Cube,突破了傳統多維分析在容量、性能、實時性、併發能力方面的瓶頸,該方案具有如下優點和收益:
  • 無縫集成Cognos BI或其餘前端展示工具,業務應用無須改變,而是底層數據源實現快速切換;
  • 顯著下降Cube設計的複雜度,節省大量重複的開發和運維人力成本,將IT資源聚焦到更多有價值和創新的技術和業務上;
  • 提供智能化方法敏捷遷移現有Cube,實現業務分析體驗和效率的提高,大大加速項目部署週期;
  • Cube日增量構建一般能在1小時內完成,大大提高了從數據到業務結果呈現的時效性;
  • 基於PB級數據,無需IT團隊事先準備彙總場景,用戶可進行靈活拖拽、篩選過濾、鑽取等自助分析操做,提供更好的用戶體驗,加速業務得到數據的效率;
  • 支持讀寫分離架構,提供穩定的併發性能,知足大量用戶同時訪問的需求,賦能企業將數據分析和決策能力滲透到企業各個層級。


關於 Kyligence

Kyligence 由首個來自中國的 Apache 軟件基金會頂級開源項目 Apache Kylin 核心團隊組建,是專一於大數據分析領域創新的數據科技公司。Kyligence 提供基於 Apache Kylin 的企業級大數據智能分析產品 Kyligence Enterprise,以及基於公有云的託管式 Kylin 在線服務 Kyligence Cloud。目前,Kyligence 已贏得了海內外多家金融、保險、證券、電信、製造、零售、廣告等企業級客戶。

相關文章
相關標籤/搜索