做爲 Apache Doris 社區的主要維護團隊,百度Doris團隊也同時維護了基於 Apache Doris 官方 Release 版本的 3 位迭代版本(tags) 。包括快速的 Bug 修復和新功能更新。node
這些 3 位迭代版本都在百度內部進行過測試和上線,推薦使用。git
如下內容基於0.13.15版本迭代。該版本可從0.13.15版本或0.14.0版本平滑升級。github
新增功能算法
LDAP認證數據庫
支持LDAP驗證登錄和LDAP組受權。apache
備份恢復支持ODBC外部表和邏輯視圖網絡
備份恢復功能支持ODBC外部表以及邏輯視圖。同時,備份恢復功能支持經過EXCLUDE語法排除部分不須要備份或恢復的表。併發
Unique Key數據模型上的UPDATE語句性能
在Unique Key數據模型上能夠執行UPDATE語句,如:測試
UPDATE tbl SET v1 = 2 where k1 = "abc";
多字節分隔符
在導入文本格式數據時,支持使用多字節分隔符做爲列分割或行分隔符。能夠有效解決數據中包含分隔符的狀況。
導入前置過濾
Broker Load 和 Routine Load 導入命令支持前置過濾條件。前置過濾功能容許用戶在進行列映射和列變換以前,對原始數據先進行一次過濾。該功能可用於從同一數據源中過濾出須要的數據導入到不一樣目的表中。
Export支持過濾條件
Export能夠指定WHERE條件對導出的數據進行選擇性過濾。同時Export也支持了指定多字節行列分隔符,以及導出數據到本地的功能。
圖形化展現查詢計劃、Profile
能夠在命令行經過圖形化的樹形結構展現查詢計劃和Query Profile。能夠更直觀的分析查詢的性能瓶頸。
內置存儲系統監控指標
部分核心監控指標(Metric)將由FE收集並存儲。在用戶沒有部署監控系統的狀況下,也能經過命令行,圖形化的顯示部分核心監控指標,方便定位系統問題。
其餘功能更新
-
Tablet 節點內盤間遷移:支持經過HTTP接口指定Tablet進行同一節點的磁盤間數據遷移。
-
指定導入併發度:支持經過參數指定Broker Load 的導入併發度,充分利用系統資源提高導入速度。
-
DELETE命令支持指定多個分區:支持在一個DELETE命令中指定多個分區執行刪除操做。
-
支持對Unique Key模型表的非主鍵列創建二級索引。
-
ODBC外部表支持 SQL Server。
-
Stream Load 支持導入壓縮格式數據。
-
支持 MySQL Client 8.0 的鏈接。
-
支持SELECT...OUTFILE命令執行成功後,寫入一個標記文件,以方便下游業務感知。
-
提供一個Python腳本用於分割本地文件:該腳本支持指定行列分隔符對本地文件分割,以方便經過Stream Load並行的導入本地大文件。
重要Bug修復
BE內存佔用太高致使OOM的問題
修復一個在數據寫入時可能致使內存膨脹的問題,解決BE常常OOM的現象。
過濾數據文件未刪除致使磁盤空間佔用太高的問題
修復某些狀況下BE上的數據文件未被正確刪除,致使長時間佔用磁盤空間的問題。
Routine Load報錯Too Many Tasks並卡死的問題
修復BE上Routine Load工做線程在某些狀況下因未正確退出,致使工做線程耗盡,做業報錯Too Many Tasks的問題。
功能優化
支持更多條件下推到存儲引擎進行過濾
支持更多條件下推到存儲引擎,包括DELETE條件、IN等等,提高查詢性能。
元數據表級鎖粒度
FE中的元數據鎖粒度從Database級別下降到Table級別。有效解決了元數據頻繁更新場景下(如大量導入操做時),同一數據庫中不一樣表之間元數據併發寫致使的性能問題。
優化Zonemap索引的生成策略
Zonemap索引的生成策略會根據Data Page中的數據條目數量動態調整。在某些大字符串列上再也不生成Zonemap索引,能夠顯著下降磁盤空間佔用。
Exchange Node支持併發的歸併排序
支持選擇性的經過兩級併發歸併排序算法提高Exchange Node上的數據排序效率。能夠經過會話變量 enable_exchange_node_parallel_merge 開啓。
Local Exchange Node
當Exchange Node的源端和目的端在同一BE節點上時,將再也不經過序列化反序列化的方式經過網絡傳輸數據,減小CPU開銷。
SET_VAR 語法支持指定多個會話變量
SET_VAR語法支持指定多個會話變量,以更方便的控制一個SQL語句的行爲參數。
歡迎掃碼關注:
Apache Doris(incubating)官方公衆號
相關連接:
Apache Doris官方網站:
http://doris.incubator.apache.org
百度 Doris 官方網站:
http://doris.baidu.com/
百度 Doris Github:
https://github.com/baidu-doris/incubator-doris
Apache Doris 開發者郵件組:
dev@doris.apache.org