分佈式數據庫架構--排序、分頁、分組、實現

最近研究分佈式數據庫架構，發現排序、分組及分頁讓着實人有點頭疼。現把問題及解決思路整理以下。

1、 多分片（水平切分）返回結果合併（排序）

          一、Select + None Aggregate Function的有序記錄合併排序 

           解決思路：對各分片返回的有序記錄，進行排序去重合並。此處主要是編寫排序去重合

          並算法。

          二、Select + None Aggregate Function的無序記錄合併

           解決思路：對各分片返回的無序記錄，進行去重合並。

           優勢：實現比較簡單。

           缺點：數據量越大，字段越多，去重處理就會越耗時。

          三、Select + Aggregate Function的記錄合併（排序）

          Oracle經常使用聚合函數：Count、Max、Min、Avg、Sum。

          AF：Max、Min

          思路：經過算法對各分片返回結果再求max、min值。

          AF：Avg、Sum、Count

          思路：分片間無重複記錄或字段時，經過算法對各分片返回結果再求avg、sum、count值。分片間有重複記錄或字段時，先對各分片記錄去重合並，再經過算法求avg、sum、count值。

          好比：

          select count(*) from user

          select count(deptno) from user;

          select count(distinct deptno) from user;

2、多分片（水平切分）返回結果分頁

         解決思路：合併各分片返回結果，邏輯分頁。

        優勢：  實現簡單。

        缺點：  數據量越大，緩存壓力就越大。

                     分片數據量越大，查詢也會越慢。

3、多分片（水平切分）查詢有分組語法的合併

         一、Group By Having + None Aggregate Function時

         Select + None Aggregate Function

         好比：select job user group by job;

        思路：直接去重（排序）合併。

        Select + Aggregate Function

         好比：select max(sal),job user group by job;

         思路：同Select + Aggregate Function的記錄合併（排序）。

         二、Group By Having + Aggregate Function時

         解決思路：去掉having AF條件查詢各分片，而後把數據放到一張表裏。再用group by having 聚合函數查詢。

4、分佈式數據庫架構--排序分組分頁參考解決方案

         解決方案1：Hadoop + Hive。

         思路：使用Hadoop HDFS來存儲數據，經過Hdoop MapReduce完成數據計算，經過Hive HQL語言使用部分與RDBBS同樣的表格查詢特性和分佈式存儲計算特性。

         優勢： 能夠解決問題

                       具備併發處理能力

                       能夠離線處理

         缺點：  實時性不能保證

                       網絡延遲會增長

                       異常捕獲難度增長

                       Web應用起來比較複雜

          解決方案2：總庫集中查詢。

          優勢： 能夠解決問題        

                       實現簡單

          缺點： 總庫數據不能太大

                        併發壓力大

5、小結

         對於分佈式數據庫架構來講，排序、分頁、分組一直就是一個比較複雜的問題。避免此問題須要好好地設計分庫、分表策略。同時根據特定的場景來解決問題。也能夠充分利用海量數據存儲（Hadoop-HDFS|Hive|HBse）、搜索引擎（Lucene|Solr）及分佈式計算（MapReduce）等技術來解決問題。別外，也能夠用NoSQL技術替代關係性數據庫來解決問題，好比MogonDB\redis。