算法課筆記系列（七）—— 平攤分析Amortized Analysis

本週的內容是Amortized Analysis，是對算法複雜度的另外一種分析。它的基本概念是，給定一連串操做，大部分的操做是很是廉價的，有極少的操做可能很是昂貴，所以一個標準的最壞分析可能過於消極了。所以，其基本理念在於，當昂貴的操做特別少的時候，他們的成本可能會均攤到全部的操做上。若是人工均攤的花銷仍然便宜的話，對於整個序列的操做咱們將有一個更加嚴格的約束。本質上，均攤分析就是在最壞的場景下，對於一連串操做給出一個更加嚴格約束的一種策略。

均攤分析與平均狀況分析的區別在於，平均狀況分析是平均全部的輸入，好比，INSERTION SORT算法對於全部可能的輸入在平均狀況下表現性能不錯就算它在某些輸入下表現性能是很是差的。而均攤分析是平均操做，好比，TABLEINSERTION算法在全部的操做上平均表現性能很好儘管一些操做很是耗時。在均攤分析中，不涉及機率，而且保證在最壞狀況下每個操做的平均性能。

有三類比較常見的均攤分析：

1.聚類分析：證實對全部的n，由n個操做所構成的序列的總時間在最壞狀況下爲T(n)，每個操做的平均成本爲T(n)/n；好比棧的操做，對於一個空棧的入棧和出棧的操做

2.記帳方法：在平攤分析的記賬方法中，決定每個操做的均攤成本，對不一樣的操做賦予不一樣的費用，某些操做的費用比它們的實際代價或多或少。咱們對一個操做的收費的數量稱爲平攤代價。當一個操做的平攤代價超過了它的實際代價時，二者的差值就被看成存款(credit)，並賦予數據結構中的一些特定對象，能夠用來補償那些平攤代價低於其實際代價的操做。這種方法與彙集分析不一樣的是，對後者，全部操做都具備相同的平攤代價。數據結構中存儲的總存款等於總的平攤代價和總的實際代價之差。注意：總存款不能是負的。在開始階段對於過分要價存儲預先支付的存款，在後面的序列中再支付操做。好比，二進制計數器: 經過二進制觸發器計算一系列數字

3.勢能方法：在平攤分析中，勢能方法（potential  method）不是將已預付的工做做爲存在數據結構特定對象中存款來表示，而是將存款整體上表示成一種「勢能」或「勢」，它在須要時能夠釋放出來，以支付後面的操做。勢是與整個數據結構而不是其中的個別對象發生聯繫的。好比，動態表，能夠動態改變大小的連續存儲數組。

 

1、聚類分析

在聚類分析中，對於一連串的n的操做，咱們計算總的最壞時間T(n). 在最壞狀況下，每個操做的平均成本或者均攤成本是T(n)/n. 成本T(n)/n適用於每個操做（可能有幾種類型的操做）。另外兩種方法可能將不一樣的均攤成本分配給不一樣類型的操做。

 

好比，有MULTIPOP操做的棧。有兩種基本的棧操做都分別花費O(1)的時間: PUSH(S,x)和POP(S)分別是將對象x壓入棧中，從棧S的頂部彈出並返回彈出的對象。將每個操做的花銷都賦爲1. 一連串n個PUSH和POP操做的總消耗爲n，對於n個操做的實際運行時間爲O(n).

如今添加一個額外的棧操做MULTIPOP。MULTIPOP(S,k) 是彈出棧S的前k個對象（或者彈出整個棧若是k大於棧的大小的話）。

    

MULTIPOP的總消耗是min{|S|,k}.

如今考慮在一個初始爲空的棧上的一序列n個POP，PUSH和MULTIPOP操做。算法僞代碼以下：

    

下面爲一個例子：

    

粗略地分析，MULTIPOP (S,k)將會花費O(n)的時間，所以，

    

在操做序列中，一些操做可能會很廉價，可是一些操做可能會很是昂貴耗時，好比MULTIPOP(S,k). 然而，最壞的操做每每不是常常被調用的。所以，傳統的最壞的單一操做分析會給出過於消極的邊界。

咱們的目標是，對於每個操做，咱們但願可以賦予其一個均攤的成本來對實際的總的成本進行定界。對於n個操做的任意序列，咱們有

    

這裏，是表示第i步的實際成本。

使用聚類分析使得有更加緊湊的邊界分析，對於全部的操做都有相同的均攤成本.

觀察得知，POP操做的數目必定小於或者等於PUSH操做的數目。所以，咱們能夠獲得：

    

所以，平均來看，MULTIPOP(S,k)這一步將花費O(1)而不是O(k)的時間。

這裏來看另外一個例子，考慮一個從0開始計數的k位的二進制計數器。使用位的數組A[0,…, k-1]來記錄計數。存儲在計數器中的二進制數在A[0]有最低階的位，在A[k-1]有最高階的位，而且有

    

初始時，x=0, 對於i = 0,… k-1， 都有A[i]=0

一個存儲案例以下：

    

INCREMENT算法是用來在計數器中加1(2^k)到一個值上。

算法僞代碼描述爲：

    

考慮從0開始計數的n個操做的一個序列：

    

那麼粗略計算，咱們能夠獲得T(n)<= kn，由於一個增長操做可能會改變全部的k位。

咱們使用聚類計數來緊湊分析的話，有基本的操做flip(1->0)和flip(0->1)

在n個INCREMENT操做的一個序列中，

A[0] 每一次INCREMENT被調用的時候都會flip，所以flip n次；

A[1] 每兩次調用INCREMENT時flip，所以flip n/2次；（經過列中標記的黃色能夠看出來規律）

…

A[i] flips 次.

所以，

    

每個操做的均攤成本爲: O(n)/n =O(1).

 

2、記帳方法

記帳方法的基本思路爲，對於每個有實際成本C_OP的操做OP而言，均攤成本被分配使得對於n個操做的任意序列，有

    

若是，那麼額外的部分就能夠被存儲爲預付的存款（credit），這筆存款能夠在以後對於的操做時被用。這樣的要求實質上是使得存款不會爲負。

咱們回到有MULTIPOP操做的棧的問題，對於這樣的棧，將均攤成本分配爲：

    

其中，credit是棧中條目的數目。

從一個空棧開始，n1個PUSH，n2個POP和n3個MULTIPOP操做的任意序列最多的花銷是 ，這裏，n = n1 + n2 + n3.

須要注意的是，當有超過一種類型的操做時，每一種類型的操做可能被賦予不一樣的均攤成本。

下面經過一個銀行家的觀點來看記帳方法。假如你正在租一個操做硬幣的機器，而且根據操做的數量來收費。那麼有兩種支付方法：

A． 對每一種實際的操做支付實際費用：好比PUSH支付1元，POP支付1元，MULTIPOP支付k元

B． 開一個帳戶，對每個操做支付平均費用：好比PUSH支付2元，POP支付0元，MULTIPOP支付0元

若是平均花銷大於實際的費用，那麼額外的將被存儲爲credit(存款)；若是平均成本小於實際的花費，那麼credit將被用來支付實際的花費。這裏的限制條件爲：

對任意的n個操做， ，也就是說，要保證在你的帳戶中有足夠的存款。

下面是一個例子：

     

對於以前的二進制計數器有同樣的道理，賦予均攤成本爲：

    

咱們能夠觀察到flip(0->1)的數目大於等於flip(1->0)，所以有

            

 

3、勢能方法

勢能方法是從一個物理學家的角度出發看問題，基本思路是有勢，對於每個操做OP直接設置不是那麼簡單。所以，咱們定義一個勢能函數做爲橋樑，也就是，咱們將一個值賦給一個狀態而不是賦給一個操做，這樣，均攤成本就是基於勢能函數來計算的。

定義勢能函數爲： 其中S是狀態集合。

均攤成本的設置爲： ,所以咱們有

       

爲了保證 ，足以確保

對於棧的例子，令表示棧中的條目的數目。實際上，咱們能夠簡單講存款做爲勢能。這裏狀態Si表示在第i個操做以後棧的狀態。對於任意的i，有。

所以，棧S的狀態爲：

      

那麼勢能函數 的折線圖表示爲下圖：

        

咱們以下定義：

        

所以，從一個空棧開始，n1個PUSH，n2個POP和n3個MULTIPOP操做的任意序列花費最多

，這裏n = n1 + n2 + n3.

 

在二進制計數器中，在計數器中將設置爲勢能函數：

         

此時，勢能函數 的折線圖表示爲：

在計數器中將設置爲勢能函數，在第i步，flips Ci的數目爲：

     

所以，咱們有

        

換句話說，從00…0開始，n個INCREMENT操做的一個序列最多花費2n時間。

 

下面考慮一個實際的問題：

假設如今咱們被要求開發一個C++的編譯器。Vector是一個C++的類模板來存儲一系列的對象。它支持一下操做：

a.push_back: 添加一個新的對象到末尾

b.pop-back：將最後一個對象彈出

注意vector使用一個連續的內存區域來存儲對象。那麼咱們該如何爲vector設計一個有效的內存分配策略呢？

這就引出了動態表的問題。

在許多應用中，咱們不可以提早知道在一個表中要存儲多少個對象。所以，咱們不得不對一個表分配必定空間，但最後發現其實不夠用。下面引出兩個概念：

動態擴展：當在一個全表中插入一個新的項時，這個表必須被從新成一個更大的表，原來表中的對象必須被拷貝到新表中。

動態收縮：類似的，若是從一個表中刪除了許多的對象，那麼這個表能夠被從新分配成一個尺寸變小的新表。

咱們將給出一個內存分配策略使得插入和刪除的均攤成本是O(1).，就算一個操做觸發擴展或者收縮時其實際成本是較大的。

          

動態表擴展的例子：

         

考慮從一個空棧開始的操做的一個序列：

        

Overflow以後擴展表的操做：

粗略地分析，考慮這樣的一個操做序列，若是咱們根據基本的插入和刪除操做來定義成本，那麼第i個操做的實際成本Ci是

         

這裏的Ci = i是當表爲滿的時候，由於此時咱們須要插入一次，而且拷貝i-1項到新表中。

若是n個操做被執行了，那麼一個操做的最壞狀況下的成本將爲O(n). 這樣的話，對於總的n個操做的總運行時間爲O(n^2)，並不如咱們須要的緊湊。

 

對於以上狀況，咱們若是使用聚類分析：

首先觀察到表的擴展是很是少的， 由於在n個操做中表擴展不常發生，所以O(n^2)的邊界並不緊湊。

特別的，表擴展發生在第i次操做，其中i-1剛好是2的冪。

      

所以，咱們能夠將Ci分解爲：

      

這樣n個操做的總花費爲：

      

所以，每個操做的均攤成本爲3，換句話說，每個TABLEINSERT操做的平均成本爲O(n)/n=O(1)

 

若是咱們使用記帳方法：

對於第i次操做，一個均攤成本被支出。這個費用被消耗到運行後面的操做。任何不是當即被消耗掉的數量將被存在一個「銀行」用於以後的操做。

所以，對於第i個操做，$3被用在如下場合：

A.$1支付自身插入操做

B.$2存儲爲以後的表擴展，包括$1給拷貝最近的i/2項和$1給拷貝以前的i/2項

如圖：

          

存款毫不會爲負。換句話說，均攤成本的和給出了實際成本的和的一個上界。

                   

若是咱們使用勢能方法：

銀行帳戶能夠被看作一個動態集合的勢能函數。更加明確來講，咱們但願有一個這樣性質的勢能函數：

a.在一次擴展以後，

b.在一次擴展以前， ，所以，下一次擴展能夠經過勢能支付。

一個可能的狀況：

            

其折線圖爲:

初始時， 而且很是容易驗證當表老是至少半滿的時候有 。那麼關於的成本被定義爲：

           

這樣的話， 就是實際操做的一個上界了。

 

下面分的兩種狀況來計算：

Case-1：第i次插入不會觸發一個擴展

此時， , 這裏，numi表示第i次操做以後表項的數目，sizei表示表的大小，Ti表示勢能。

        

Case-2：第i次操做觸發了一個表的擴展

此時，

        

所以，從一個空表開始，一個n個TABLEINSERT操做的序列在最壞狀況下花費O(n).

 

刪除操做是相似的分析。

總的來講，由於每個操做的均攤分析是被一個常數給界頂了，所以若是是從空表開始，在一個動態表上的任何n個TABLEINSERT和TABLEDELETE操做的序列的實際花銷都是O(n).

均攤分析能夠爲數據結構性能提供一個清晰的抽象。當一個均攤分析被調用時，任何的分析方法均可以被使用，可是每一種方法都有一些是被有爭議爲最簡單的狀況。不一樣的方法可能適用於不一樣的均攤成本賦值，而且有時可能獲得徹底不一樣的界。