Apache Kylin

日前，eBay公司隆重宣佈已經正式向開源業界推出分佈式分析引擎：Kylin（http://kylin.io）。做爲一套旨在對Hadoop環境下分析流程進行加速、且可以與SQL兼容性工具順利協做的解決方案，Kylin成功將SQL接口與多維分析機制（OLAP）引入Hadoop，旨在對規模極爲龐大的數據集加以支持。

背景信息

eBay公司當前面臨的主要挑戰在於，數據規模正隨着用戶羣體的多樣化拓展而水漲船高。咱們的用戶——好比在分析與業務部門當中但願能在保持最低延遲水平的前提下繼續使用本身所熟悉的工具方案，例如Tableau與Excel。 
 
有鑑於此，咱們與公司內部的分析部門進行緊密合做，並勾勒出eBay眼中足以構成成功產品的基本要求：
1.數百億數據行的查詢延遲須要保持在次秒級別。  
2.可以爲使用SQL兼容性工具的用戶提供ANSI SQL。  
3.完整的OLAP方案以實現各種高級功能。  
4.擁有對高基數與超大規模業務體系的支持能力。  
5.面向成千上萬用戶的高併發性處理能力。  
6.可以處理TB乃至PB級別分析任務的分佈式橫向擴展架構。 

咱們很快意識到，沒有任何一種外部解決方案可以切實知足咱們的具體要求——特別是在開源Hadoop社區當中。爲了解決企業業務面臨的這一系列緊急情況，咱們決定從零開始自主打造一套平臺。在優秀的技術團隊與部分試點客戶的通力配合之下，咱們已經可以在將Kylin平臺引入生產環境的同時、爲其發佈一套開源版本。 

重點特性概述

Kylin 是一套卓越的平臺方案，可以在大數據分析領域實現如下各項特性： 

•  規模化環境下的極速OLAP引擎: Kylin的設計目的在於削減Hadoop環境中處理超過百億行數據時的查詢延遲時間。  
• Hadoop上的ANSI SQL接口:Kylin可以在Hadoop之上提供ANSI SQL並支持大部分ANSI SQL查詢功能。  
•交互式查詢功能:用戶能夠經過Kylin以秒級如下延遲水平實現與Hadoop數據的交互——在面對同一套數據集時，其性能表現優於Hive查詢機制。  
•  利用MOLAP cube（立方體）對數百億行數據進行查詢: 用戶可以在Kylin當中定義一套數據模型對其進行預構建，其中所能包含的原始數據記錄可超過百億行。  
•  與商務智能工具進行無縫化集成:Kylin目前可以與多種商務智能工具相集成，包括Tableau以及其它第三方應用程序。  
•  開源ODBC驅動程序: Kylin的ODBC驅動程序從零開始逐步構建而成，並且可以與Tableau實現良好的協做效果。咱們也已經對這部分驅動程序進行開源處理併發布至技術社區當中。  

其它特性：

• 任務管理與監控機制
• 經過壓縮與編碼機制下降存儲容量需求 
• cube的增量式更新 
• 利用HBase協處理器實現查詢延遲控制 
•  對不一樣計數進行近似查詢的能力（HyperLogLog） 
• 提供易於使用的Web界面，旨在對cube進行管理、構建、監控與查詢
• cube/項目層面對ACL進行設置的安全功能 
• 支持LDAP集成 

基本設計思路

Kylin平臺的設計思路其實並不是全新產生。在過去三十年當中，已經有不少技術方案使用到一樣的理論依據來實現分析流程加速。具體而言，此類技術包括將預先計算完成的結果保存起來以備分析查詢、利用全部可能的維度組合爲每一個層級生成cuboid（基本方體）、或者是在不一樣層級上對所有指數進行計算。 
 
下面這幅圖片所示爲cuboid的拓撲結構，供你們用做參考： 

當數據規模變得愈來愈大時，預計算處理機制就會變得沒法實現——即便硬件性能再強大也於事無補。不過在Hadoop強大的分佈式計算能力支持下，計算任務可以藉助成百上千個計算節點的整體資源。這就保證了Kylin可以以併發方式對這些計算任務進行處理，並經過合併生成最終結果——這可以顯著下降總體處理時間。 

從關係型到鍵-值型 

下面舉一個實例，假設Hive表當中所保存的幾條記錄表明着一套關係型結構。當其數據規模增加到極其巨大的水平時——例如上百億甚至過萬億行數據——那麼像「2010年咱們在美國本土售出了多少套技術類方案」這樣的簡單問題也將帶來涵蓋巨大數據量的表內容掃描，給出應答的延時情況也會變得沒法接受。因爲每一次運行查詢時所須要的值是固定的，所以咱們徹底能夠預先進行計算並對結果加以存儲、以備往後隨時調用。這項技術被稱爲從關係型到鍵-值型（Relational to Key—Value，簡稱KV）處理。處理過程將生成全部維度組合並以下圖所示將測得值顯示出來——圖片右側爲計算結果。圖片的中間一列內容由左至右表示的是這類大規模數據處理流程中數據是如何由Map Reduce進行計算的。  
                 
Kylin的構建正是以這套理論爲基礎，並且在對大規模數據進行處理時充分發揮了Hadoop生態系統的強大能力:

1. 從Hive當中讀取數據（這些數據被保存在HDFS之上）  
2. 運行Map Reduce任務以實現預計算  
3. 將cuba數據保存在HBase當中  
4. 利用Zookeeper進行任務協調 

架構

如下圖表所示爲Kylin的高層架構。  
                    

以上圖表勾勒出Cube構建引擎（Cube Build Engine）是如何以離線處理方式將關係型數據轉化成鍵-值型數據的。其中的黃線部分還表現出在線分析數據的處理流程。數據請求能夠利用基於SQL的工具由SQL提交而產生，或者利用第三方應用程序經過Kylin的RESTful服務來實現。RESTful服務會調用Query Engine，後者則檢測對應的目標數據集是否真實存在。若是確實存在，該引擎會直接訪問目標數據並以次秒級延遲返回結果。若是目標數據集並不存在，該引擎則會根據設計將無匹配數據集的查詢路由至Hadoop上的SQL處、即交由Hive等Hadoop集羣負責處理。 

如下爲關於Kylin平臺內全部組件的詳細描述。 
 
•元數據管理工具（Metadata Manager）: Kylin是一款元數據驅動型應用程序。元數據管理工具是一大關鍵性組件，用於對保存在Kylin當中的全部元數據進行管理，其中包括最爲重要的cube元數據。其它所有組件的正常運做都需以元數據管理工具爲基礎。  
•任務引擎（Job Engine）: 這套引擎的設計目的在於處理全部離線任務，其中包括shell腳本、Java API以及Map Reduce任務等等。任務引擎對Kylin當中的所有任務加以管理與協調，從而確保每一項任務都能獲得切實執行並解決其間出現的故障。  
•存儲引擎（Storage Engine）: 這套引擎負責管理底層存儲——特別是cuboid，其以鍵-值對的形式進行保存。存儲引擎使用的是HBase——這是目前Hadoop生態系統當中最理想的鍵-值系統使用方案。Kylin還可以經過擴展實現對其它鍵-值系統的支持，例如Redis。  
•REST Server:  REST Server是一套面向應用程序開發的入口點，旨在實現針對Kylin平臺的應用開發工做。 此類應用程序能夠提供查詢、獲取結果、觸發cube構建任務、獲取元數據以及獲取用戶權限等等。  
•ODBC驅動程序:爲了支持第三方工具與應用程序——例如Tableau——咱們構建起了一套ODBC驅動程序並對其進行了開源。咱們的目標是讓用戶可以更爲順暢地採用這套Kylin平臺。  
•查詢引擎（Query Engine）:當cube準備就緒後，查詢引擎就可以獲取並解析用戶查詢。它隨後會與系統中的其它組件進行交互，從而向用戶返回對應的結果。  
在Kylin當中，咱們使用一套名爲Apache Calcite的開源動態數據管理框架對代碼內的SQL以及其它插入內容進行解析。Calcite架構以下圖所示。（Calcite最初被命名爲Optiq，由Julian Hyde所編寫，但現在已經成爲Apache孵化器項目之一。） 

              

Kylin在eBay公司中的應用

在對Kylin進行開源化處理的同時，咱們已經在eBay公司的多個業務部門當中將其應用於生產實踐。其中規模最大的用例就是對由120多億條源記錄所生成的超過14TB cube數據進行分析。90%的查詢請求都能在5秒鐘以內獲取到返回結果。如今，咱們擁有更多面向分析師以及業務用戶的用例，他們可以訪問這些分析機制並輕鬆經過Tableau儀表板獲取相關結果——而再也不須要藉助Hive查詢或者shell命令等複雜機制。 

下一步發展規劃

•  在高基數維度上支持TopN算法（即對大量對象進行排序並從中選取前N位結果）:目前的MOLAP技術在高基數維度上進行查詢時的表現尚算不上完美——例如對單一列中的數百萬個不一樣值進行TopN運算。 

與各種搜索引擎相似（正如衆多研究人員所指出），倒排索引是此類預構建結果的理想匹配機制。  
•  支持混合OLAP(簡稱HOLAP):MOLAP在歷史數據查詢領域擁有出色的實際表現，但因爲愈來愈多數據須要以實時方式加以處理，所以咱們須要儘快將實時/近實時處理結果與歷史結果結合起來、以做爲業務決策中的參考信息。不少內存內技術方案已經可以以關係型OLAP（簡稱ROLAP）的方式知足上述需求。而Kylin的下一代版本將成爲混合OLAP（簡稱HOLAP），即結合MOLAP與ROLAP雙方的優點以帶來單一一套面向前端查詢的入口點方案。 

開源

Kylin已經以開源姿態被交付至技術社區。爲了以Kylin爲核心發展出更爲強大的生態系統，咱們目前正提議將Kylin轉化爲Apache孵化器項目。在Owen O’Malley（Hortonworks公司聯合創始人兼Apache成員）與Julian Hyde（Apache Calcite締造者，目前供職於Hortonworks公司）等Hadoop開發者社區支持者的鼎力協助，咱們相信Kylin足以乘開源社區這股強勁的東風順利跨入新的紀元。 

咱們歡迎你們加入到Kylin貢獻者陣營中來，感興趣的朋友請點擊如下連接以訪問Kylin網站並獲取更多詳盡信息：http://kylin.io. 

做爲起步，你們並不必定立刻就要對核心代碼庫進行開源貢獻，從如下方面着手也是不錯的選擇：
  
1.  Shell客戶端
2.  RPC服務器
3.  任務調度
4.  工具

要獲取更多細節信息或者進一步探討上述議題，你們能夠在twitter上關注咱們@KylinOLAP或者加入咱們的谷歌羣組：
  
https://groups.google.com/forum/#!forum/kylin-­‐olap 

總結

Kylin已經在eBay公司內部融入生產環境，專門負責處理規模極端龐大的數據集。這套平臺擁有顯著的性能優點，實踐證實其可以幫助分析師們輕鬆藉助本身所爲熟悉的工具對Hadoop當中的數據進行充分利用。咱們也樂於推出Kylin的開源版本。歡迎你們給出本身的反饋與建議，咱們期待着您參與到這個開源你們庭中來。