阿里雲Lindorm聯合智臾科技發佈 金融高頻交易數據量化分析與處理方案

簡介：面向銀行、保險、券商和私募的高頻數據高性能一站式解決方案。

金融市場L1/L2的報價和交易數據是量化交易研究很是重要的數據，隨着數字業務快速演進，具備時序特徵的交易數據激增，對底層數據庫和量化分析系統提出了更高的要求。傳統的關係數據庫支撐這樣的數據量級，即使分庫分表，查詢性能也遠遠沒法達到要求。經常使用列存NoSQL數據庫能夠解決這個數據量級的存儲，可是這類通用的存儲引擎缺少對時序數據的友好支持，在查詢和計算方面都存在嚴重的不足，且沒法支持對量化金融場景實時業務計算、流批一體分析、多源數據融合分析。

阿里雲原生多模數據庫Lindorm聯合浙江智臾DolphinDB發佈金融高頻交易數據量化分析與處理方案，經過雲原生方式整合DolphinDB實時高效的數據處理能力和Lindorm多模海量數據融合存儲分析能力，集成了功能強大的編程語言和高容量高速度的流數據分析系統，爲金融場景海量時序數據的量化分析計算提供一站式解決方案。方案操做簡單，可擴展性強，具備良好的容錯能力及優異的多用戶併發訪問能力。

方案優點能力

數據庫存儲

• 高吞吐低延遲的列式內存引擎。
• 列式混合引擎（基於內存和磁盤）爲存儲海量數據的數據倉庫提供了優越性能。
• 靈活的分區方案：支持值分區、範圍分區、列表分區、哈希分區和組合分區。
• 支持單表百萬級別的分區數，大大縮減對海量數據的檢索響應時間。
• 庫內分析：可在數據庫中進行復雜的編程和運算，避免數據遷移的耗時。
• 提供多種SQL功能的擴展，包括非同時鏈接、窗口鏈接、透視表、複合列等。
• 支持同一個分區數據庫內多表快速聯結。
• 數據壓縮。
• 支持多用戶併發訪問。每一個用戶以給定的權限在獨立的會話中工做。
• 元數據高可用：多個控制節點使用Raft協議實現強一致性。
• 分區數據高可用：一個數據庫能夠包含上百萬個分區，分區的多副本之間使用改良的二階段提交協議實現分區副本的強一致性。
• 運維高可用：在線增長服務器節點，在線平衡節點間數據，在線爲分區數據表增長字段。
• 數據庫的增量備份機制：當分區副本數爲N的時候，在N-1個節點宕機的狀況下，保證系統仍能夠持續寫入和讀取。
• 使用內嵌的分佈式文件系統自動管理分區數據及其副本，爲分佈式計算提供負載均衡和容錯能力。

數據庫內數據分析

• 編程語言功能強大且表達能力豐富。支持命令式編程、函數式編程、向量編程、SQL編程和RPC（遠程函數調用）編程。
• 編程語言的語法與SQL和Python很是類似，易上手易使用。
• 內置1000多個函數，涵蓋絕大多數經常使用的數據處理、數據分析、機器學習等功能，以及文件調用與數據庫管理等功能。
• 經過內存引擎、數據本地化、細粒度數據分區和並行計算實現高速的分佈式計算。
• 提供即時編譯版本，極大加速for-loop, while-loop與if-else等語句的執行速度。
• 支持多種計算模型，包括pipeline、map-reduce和迭代計算。
• 爲動態數據分佈式計算提供快照隔離。
• 經過在多任務中共享內存的數據副原本提升系統吞吐量。
• 可便捷地分析分佈式數據。在單個節點上編寫腳本後，無需編譯和部署便可在整個集羣上執行。

流數據

• 無縫集成流數據和數據庫表。可使用SQL查詢本地流數據或分佈式流數據。
• 內置時間序列、橫截面、異常檢測以及響應式狀態引擎等多種流數據聚合引擎。
• 可以使用DolphinDB中的用戶自定義函數處理信息。
• 亞毫秒級的信息延遲。
• 使用實時數據更新歷史數據倉庫只有亞秒級延遲。
• 能夠從任意偏移量重現歷史信息。
• 提供可配置的選項（如分區、工做線程、隊列）用於流量控制和性能調優。

生態

• 提供多種編程API，包括C++、Python、Java、C#、Go和Excel等。
• 已有的pandas程序只需作少許改動便可經過pandas API (orca) 在DolphinDB中運行。
• 提供多種插件，包括MySQL、ODBC、HDF五、Parquet等。
• 內置Web服務器，用於集羣管理、性能監控和數據訪問。
• 提供DolphinDB GUI與VS Code插件等IDE（集成開發環境）用於數據分析。
• 經過內置函數、Web接口或Prometheus實現系統監控。

本文內容由阿里雲實名註冊用戶自發貢獻，版權歸原做者全部，阿里雲開發者社區不擁有其著做權，亦不承擔相應法律責任。具體規則請查看《阿里雲開發者社區用戶服務協議》和《阿里雲開發者社區知識產權保護指引》。若是您發現本社區中有涉嫌抄襲的內容，填寫侵權投訴表單進行舉報，一經查實，本社區將馬上刪除涉嫌侵權內容。