使用關係型數據庫分塊處理幾億幾十億條數據

分塊計算是將數據按一定的規則切割成若干份，然後分別計算，再將結果合併彙總得到最終結果。   經常統計時會涉及到一次要對幾千萬甚至幾十億的數據進行聚合計算 ( 或表關聯 ) ，因爲硬件本身的限制（特別是沒有足夠大的內存和臨時表空間），往往顯得無能爲力。這時如果不人爲去將數據進行分割計算（或關聯），系統將會陷入異常緩慢的計算過程甚至因臨時表空間不足而崩潰。   分塊計算最重要的是找到一個字段作爲分割數

>>阅读原文<<