騰訊Hermes設計概要——數據分析用的是列存儲,詞典文件前綴壓縮,倒排文件遞增id、變長壓縮、依然是跳錶-本質是lucene啊...

轉自:http://data.qq.com/article?id=817 三、Hermes設計概要 架構描述             系統核心進程均採用分散化設計,根據業務發展需求,可隨意擴縮容機器;         週期性數據直接通過tdw處理落地到分佈式文件系統; 實時數據加載採用先落地本地磁盤,最終落地到分佈式文件系統,最終都由調度進程分發到計算層; 分析引擎設計         基於單個實
相關文章
相關標籤/搜索