自去年6月開源以來,openLooKeng社區獲得愈來愈多朋友的支持。社區內,小夥伴們對openLooKeng的性能給予了確定和讚揚,同時也給出了許多有價值的建議。暖春3月,在衆人的期待下,openLooKeng迎來了新版本V1.2.0。openLooKeng V1.2.0是在舊版本的基礎上進行優化,並基於小夥伴們的體驗和建議,新增一些技術,以提升引擎性能,爭取爲你們帶來更絲滑流暢的體驗。html
於引擎內核來講,主要加強兩個維度:融合分析場景和性能。git
» 查詢容錯加強,提升引擎執行的可靠性算法
在批查詢處理運行的過程當中,當某個工做節點出現故障時,可在其餘節點上恢復任務,好比對Hive數據源的 insert 和 create table as select 操做。針對長時間運行的批查詢處理任務,相比上一個版本,穩定性和可靠性有了極大的提高。安全
» 查詢性能的優化:基於 StarTree 的查詢預聚合能力加強性能優化
StarTree旨在優化低延遲、聚合查詢語句。咱們經過StarTree查詢預聚合能力,爲用戶構建所須要的不一樣維度和不一樣聚合操做的 cube。在之後的查詢過程當中,若是遇到任何可匹配的聚合子查詢,引擎將直接從cube中讀取數據,避免在原始表上執行查詢,從而提升查詢性能。併發
» 引入 CTE(公共表表達式)優化技術,減小內存使用框架
在執行計劃優化過程當中引入CTE(公共表表達式)技術。當一個複雜查詢中,存在某個子查詢(例如 with語句)被屢次使用,優化器會爲重複的子查詢自動生成一個CTE節點,該CTE節點的輸出會被執行計劃流程中的多個父節點消費。也就是說,重複的子查詢只會執行一次,化繁爲簡, 同時也減小內存佔用,引擎得到更好的性能。函數
» 通用算子下推框架,讓 Connectors 參與到執行計劃優化中性能
爲了讓算子下推過程更加簡單靈活,咱們採用新的通用算子下推框架,讓每一個Connector能夠參與到執行計劃優化中。引擎在進行執行計劃優化時,可以自行應用Connector的優化規則,使得算子下推過程變得更加高效。大數據
» 加強HIVE ORC的數據維護性能
該特性優化了數據寫入和數據修改(更新和刪除)的處理速度,並不影響『讀性能』的流暢度;支持併發訪問Hive Metastore,提升元數據操做性能,從而進一步優化數據寫入和修改的性能。
於引擎門戶來講,主要集中在南向生態方面的優化。
» HBase Connector性能優化
針對單表查詢性能的提高,咱們新增了分片算法。另外,該性能支持 HBase 訪問 Snapshot 的模式,從而提高多併發查詢性能。
» 數據源UDF(User-Defined Function)支持下推
引擎支持外部函數(UDF)的註冊,也支持將其下推到JDBC數據源。爲了讓你們擁有更好的體驗,用戶能夠在不遷移本身數據源UDF的狀況下,使用已有的UDF, 提升UDF的複用度。
以上即是openLooKeng新版本V1.2.0 在性能優化上較爲亮眼的地方。固然,做爲大數據領域的關鍵項目,openLooKeng十分看重引擎的易用性和安全性。針對這兩點,新版本V1.2.0作出以下加強:
» 易用性 | 加強Admin Dashboard UI用戶體驗
優化定時全量加載致使的UI頁面卡頓,
加強查詢歷史和查詢結果的分頁顯示,
優化新增鏈接器的參數配置,
UI 界面支持Kerberos 和密碼登陸,支持查詢歷史按用戶進行過濾。
» 安全性 | 基於Ranger的細粒度權限管控:支持行過濾和列掩碼
增長行過濾和列掩碼,增長認證用戶模擬權限控制,提供更細化的權限控制粒度。
看了這麼多,是否是很想動手一試?感興趣的朋友能夠下載體驗。
新版本下載地址: https://openlookeng.io/zh-cn/download.html
若是您對新版本V1.2.0有其餘建議,歡迎發郵件至 users@openlookeng.io 告知咱們。openLooKeng社區感謝朋友們的支持,期待並歡迎更多朋友們的參與。
• • •
openLooKeng是一款開源的高性能數據虛擬化引擎,提供統一SQL接口,具有跨數據源/數據中心分析能力,爲大數據用戶提供極簡的數據分析體驗。歡迎加入openLooKeng社區,一塊兒作點有意思的事兒,讓大數據更簡單!
openLooKeng開源社區官方網站: https://openlookeng.io/zh-cn/
openLooKeng代碼倉地址: https://gitee.com/openlookeng