基於spark之上的即席分析-卓越性能

爲探索性分析與即席分析而設計

    YDB全稱延雲YDB：是一個基於Hadoop分佈式架構下的實時的、多維的、交互式的查詢、統計、分析引擎，具備萬億數據規模下的秒級性能表現，並具有企業級的穩定可靠表現。

    YDB是一個細粒度的索引：精確粒度的索引。數據即時導入，索引即時生成，經過索引高效定位到相關數據。YDB與Spark深度集成，Spark直接對YDB檢索結果集分析計算，一樣場景讓Spark性能加快百倍。

1. 稽查布控場景性能

 

2. 卓越的檢索與分析性能

與 Spark txt 性能對比（提高倍數）

與 Parquet 格式對比（單位爲秒）

與 ORACLE 性能對比

3. 卓越的排序性能

按照時間逆序排序能夠說是不少日誌系統的硬指標。在延雲 YDB 系統中，咱們改變了傳統的暴力排序方式，經過索引技術，能夠超快對數據進行單列排序，不須要全表暴力掃描，這個技術咱們稱之爲 BlockSort，目前支持 tlong、 tdouble、 tint、 tfloat 四種數據類型。

因爲 BlockSort 是藉助搜索的索引來實現的，因此採用 BlockSort 的排序，不須要暴力掃描，性能有大幅度的提高。

BlockSort 的排序，並不是是預計算的方式，能夠進行全表進行排序，也能夠基於任意的過濾篩選條件進行過濾排序。

詳細測試地址： http://blog.csdn.net/qq_33160722/article/details/54447022

300億條數據的排序演示視頻 http://blog.csdn.net/qq_33160722/article/details/54834896

測試結果(時間單位爲秒)