分佈式GK Summary算法

時間 2021-01-22

標籤 GK-Summay 流式數據庫 quantile merge prune 欄目系統架構简体版

原文原文鏈接

0.前言

本文主要介紹分佈式GK Summay算法，考慮分佈式流式數據庫場景，博客內容來源主要是原始論文與Emory大學的流式數據庫的課程內容，本文僅提取出關鍵內容加入筆者的個人理解，有錯誤還望諒解與告知。

1.背景

現在考慮分佈式流式數據庫，流式數據來源如下圖：

上圖中每個Processing Node需要統計對應的數據，然後將統計數據merge生成可查詢的Summary。上篇博客我們知道對於數據流如何構建GK Summary來支持 ϵ−approximate ϕ−quantile 分位點查詢，但是由於數據流來源分佈不同，而查詢應該基於全局數據，因此需要將所有GK Summary合併merge生成最終全局的Summary查詢結構。本文就來探討分佈式GK summary的merge操作以及Prune操作。後續會介紹到Prune操作，不同於上篇GK Summary的delete與compress操作，該操作直接對Summary進行刪減，會犧牲誤差邊界，merge與prune操作是後續A fast algorithm的基礎操作。

2.分佈式GK Summary算法

2.1 Merge操作

考慮2個summary merge情況，已經按照summary tuple內部 v 大小排序：

Q' = {(x 1, r m i n (x 1), r m a x (x 1)), (x 2, r m i n (x 2), r m a x (x 2)), . . ., (x n, r m i n (x n), r m a x (x n))} Q ″ = {(y 1, r m i n (y 1), r m a x (y 1)), (y 2, r m i n (y 2), r m a x (y 2)), . . ., (y m, r m i n (y m), r m a x (y m))}

注，上述summary基於 (v,rmin,rmax) 形式，之前博客已經說明，該形式等價於 (v,g,Δ) ，後者主要方便新增數據的summary更新，但是前者可讀性更高，故本文說明基於前者形式。

如何merge生成最終 Q ：

{(z 1, r m i n (z 1), r m a x (z 1)), (z 2, r m i n (z 2), r m a x (z 2)), . . ., (z n, r m i n (z n), r m a x (z s))}

Merge方案：首先，考慮 s=n+m ，關鍵是分配每個 Q 中summary的 zi 、 rminQ(zn) 以及 rmaxQ(zn) 。
不失一般性，假設分配 Q′ 中的 xr 到 Q 中 zi ，滿足：

max y s \in Q ″ < x r min y t \in Q ″ > x r

此時，可以分配 rminQ(zn) 與 rmaxQ(zn) ：

r m i n Q (z i) = {r m i n Q' (x r) r m i n Q' (x r) + r m i n Q ″ (y s), 不 存 在 y s, 其 他

r m a x Q (z i) = {r m a x Q' (x r) + r m a x Q ″ (y s) r m a x Q' (x r) + r m a x Q ″ (y t) - 1, 不 存 在 y t, 其 他

分配完 Q′ ，同樣地，對 Q″ 執行一次，這樣 Q 就補充到 s=n+m ，這就是一種Merge方案。

證明上述方案的可行性，已知 Q′ 、 Q″ 滿足誤差約束條件：

max i \in Q' (g i + Δ i) \leq 2 ϵ N

max i \in Q ″ (g i + Δ i) \leq 2 ϵ M

現在轉化爲如何證明： maxi∈Q(gi+Δi)≤2ϵ(N+M) 。
證明之前，先說明 merge的一般性質：

Q' : max i \in Q' (g i + Δ i) \leq 2 ϵ' N Q ″ : max i \in Q ″ (g i + Δ i) \leq 2 ϵ ″ M \Rightarrow m e r g e (Q', Q ″) : max i \in Q (g i + Δ i) \leq 2 m a x (ϵ', ϵ ″) (N + M)

證明這條性質，間接的也就證明上述merge方案的可行性。下面分2種情況分別證明：

1）在 Q 中相連 zi 與 zi+1 來源於同一個 Q′ 或者 Q″ ，不失一般性，假設都來源於 Q′ ，分別對應於 xr 於 xr+1 。根據 rmin(zn) 分配定義，可得 rminQ(zi)≥rminQ′(xr) ，同樣地， rmaxQ(zi+1)≤rmaxQ′(xr+1)+rmaxQ″(yt)−1 ，位置關係如下圖所示：

所以：

r m a x Q (z i + 1) - r m i n Q (z i) \leq [r m a x Q' (x r + 1) + r m a x Q ″ (y t) - 1] - r m i n Q' (x r) = [r' m a x Q (x r + 1) - r' m i n Q (x r)] + [r ″ m a x Q (y t) - 1] \leq [r' m a x Q (x r + 1) - r' m i n Q (x r)] + [r ″ m a x Q (y t) - r ″ m i n Q (y t - 1)] (r ″ m i n Q (y t - 1) \geq 1) \leq 2 ϵ' N + 2 ϵ ″ M = 2 m a x (ϵ', ϵ ″) (N + M)

2）在 Q 中相連 zi 與 zi+1 來源不同，不失一般性，假設 zi 源於 Q′ , zi+1 源於 Q″ ，分別對應於 xr 、 yt 。根據 rmin(zn) 分配定義，可得 rminQ(zi)≥rminQ′(xr) ，同樣地， rmaxQ(zi+1)≤rmaxQ″(yt)+rmaxQ′(xr+1)−1 ，位置關係如下圖所示：