蘇寧 OLAP 引擎發展之路

在 QCon 北京 2019 大會上,趙雲講師作了《蘇寧 OLAP 引擎發展之路》主題演講,主要內容以下。微信

演講簡介:架構

對於海量大數據進行即時的多維分析,沒有任何銀彈。爲解決蘇寧複雜業務場景下的通用指標分析查詢場景,咱們結合各項大數據技術創建蘇寧 OLAP 引擎。支持單模型百億條 TB 級別數據的實時彙總分析和明細查詢,在建設過程當中,也遇到了各類各樣的挑戰。框架

如何將複雜業務場景抽象化,提供平臺級能力支持,如何經過統一的 SQL 引擎來實現各類類型數據的統一查詢;對於通用服務計算框架沒法解決的問題,如何經過定製化實現來解決;對於通用查詢引擎沒法知足響應時間的場景,如何經過預計算方式來實現;如何經過 Cost 模型來對服務進行分級和隔離等等。本次深度揭祕蘇寧建設 OLAP 引擎過程當中如何運用各項技術解決問題的方案,以及過程當中遇到的坑和優化方法。大數據

演講大綱優化

一、蘇寧 OLAP 引擎概況;ui

二、OLAP 引擎架構;3d

三、特定業務解決方案;cdn

四、技術挑戰;開發

五、將來規劃。it

講師介紹:

趙雲

蘇寧科技集團 OLAP 平臺負責人

現擔任蘇寧 OLAP 平臺負責人,擁有 10 年以上相關領域經驗,對多項大數據技術有着普遍使用經驗和深入的理解。目前負責蘇寧 OLAP 引擎,Druid,ES 等大數據組件,主導並推動蘇寧統一的基於 SQL 的 OLAP 引擎,Druid 服務化平臺,ES 服務化平臺的建設,極大的提高各項指標數據的開發時間,減小各項人力和硬件成本。

關注《大數據技術進階》微信公衆號,後臺回覆"qcon2019北京",下載QCon北京2019大會 所有演講 PPT

相關文章
相關標籤/搜索