Apache Doris Roadmap 2021

隨着 Doris 愈來愈普遍的被在各個公司落地使用，Doris 開發團隊也在不斷地收集社區用戶的需求和問題反饋。

爲了更好地幫助用戶瞭解 Doris 的發展方向和開發計劃，百度 Doris 團隊梳理了 2021 年正在進行和將要開展的工做計劃。
 

1. 向量化執行引擎

Doris 一直以易用性和功能性著稱、而且在高併發點查詢、多表 Join 等複雜多維分析場景有良好的性能表現。

可是在單純的算子性能方面依然有很是大的優化空間。今年咱們會將查詢層全部執行算子實現向量化，該工做預計將Doris的總體性能提高5倍左右。

2. 穩定性改進

隨着Doris用戶的增加，一些穩定性方面的共性問題也開始凸顯。這些問題主要集中在內存OOM、查詢耗時不穩定，以及一些新功能合入後引起的系統穩定性問題。Doris今年也會重點提高Doris的穩定性，包括更合理的內存管理、更精細的線程調度等。

同時咱們將嘗試引入更加規範的單元測試和迴歸測試框架以進一步提高代碼質量。

 

3. 查詢優化器的改進

Doris 現有的查詢優化器源自早期版本的 Impala 查詢優化器。但隨着多年的不斷迭代、修復和功能升級，目前的優化器已經和Impala社區有很大的不一樣，而且由於一些歷史緣由致使當前的優化器框架在擴展性和維護性方面都存在問題。因此在現有框架上增長更高級的優化器功能時每每會引起更多的問題。

所以，咱們計劃引入一套新的查詢優化器框架來改善這個問題。新的優化器可能會和現有優化器在很長一段時間內同時存在，以期經過社區用戶的反饋和迭代來不斷完善。

 

4. 複合類型的支持

部分業務會有包括Array、Map、Struct等複合類型的需求。好比在用戶畫像和用戶行爲分析中常用的 Array 類型。Doris 社區目前已經完成了部分複合類型的工做，今年咱們將會繼續推動這方面的研發。

5. 大數據生態建設

隨着ES、Flink、Pulsar、數據湖等新一代的大數據組件的流行，Doris 也在不斷的和這些系統進行整合。目前社區已經完成了部分 Flink 相關的工做。

咱們也在推動和其餘系統的整合。這個工做可以幫助Doris更好的和企業現有的數據基礎組件進行打通，進一步下降Doris的接入成本。

6. 多租戶和存儲計算分離

多租戶從兩個角度出發，一方面是企業對於多業務線權限管理的需求，另外一方面是對不一樣租戶資源隔離的需求。目前不少企業在使用 Doris 時都不得不分別創建一套離線集羣和一套在線集羣，以隔離不一樣的業務場景防止資源上的相互搶佔，這樣也極大的增長了數據維護成本。

咱們將會在今年嘗試經過兩種途徑來解決這個問題，一個是經過資源標籤的方式將Doris集羣進行節點級的劃分，並限制不一樣的用戶只能使用指定資源標籤下的節點，從而達到在一個集羣內物理隔離的效果。

第二個途徑是存儲計算分離，採用存儲資源共享，計算資源獨立的方式來知足業務需求。

7. 可觀測性

系統的可觀測性直接影響到運維人員對系統的把控程度。如一些用戶反饋的慢查詢沒法定位、節點運行狀態不透明、系統瓶頸沒法排查等問題。咱們將嘗試引入如 OpenTelemetry 等標準化的 tracing 框架來改善這個問題，但願可以幫助運維人員更快的定位系統問題。

 

Join US

以上研發方向都已處於正在進行或即將展開中。咱們誠邀社區的小夥伴一同參與討論開發，共同打造一款完美的分析型數據庫系統。

若是你對以上任何方向感興趣，但願一同開發，或者有其餘的建議或意見，能夠經過如下渠道參與：

1. 訂閱併發送郵件至dev@doris.apache.org‍

以 Apache Way 的方式參與社區，訂閱方式見官網：

http://doris.incubator.apache.org/master/zh-CN/community/subscribe-mail-list.html#_1-發送訂閱郵件

郵件列表是 Apache 社區最經常使用的溝通方式。咱們會積極回覆郵件列表中的問題。

 2. 在Doris論壇發帖留言

在百度開發者社區Doris論壇發帖留言討論：

https://ai.baidu.com/forum/topic/list/209

咱們也會不按期的將一些用戶常見問題在論壇中進行彙總和答覆，方便用戶查找。

 3. 微信公衆號後臺留言
 直接在 ApacheDoris 微信公衆號後臺留言，您能夠留下您的聯繫方式，咱們將與您取得聯繫。

 4. 加入Baidu Doris 團隊  Baidu Doris 團隊主要負責Doris內核研發、商業化支持、雲端服務和私有化部署。同時也負責維護Doris開源社區，歡迎有大數據系統內核研發經驗的同窗加入咱們。您能夠經過公衆號後臺留言或者發送簡歷至 talent-doris.baidu.com，咱們虛位以待。