算法的時間複雜度分析

算法分析

• 算法分析即指對一個算法所須要的資源進行預測
  • 內存，通訊帶寬或者計算機硬件等資源偶爾是咱們關心的
  • 一般，資源是指咱們但願測度的計算時間

RAM模型

• 分析一個算法以前，須要創建一個實現技術的模型，包括描述所用資源及其代價的模型

• RAM模型：單處理器，隨機存取RAM

  • 指令一條接一條地執行，沒有併發操做（單處理器）
  • 包含真實計算機中的常見指令：算術，數據移動，控制
  • 每條指令所需時間爲常量
  • 數據類型爲整型和浮點型

• 灰色領域：真實計算機包含的其餘指令，不是常量時間的那種。沒有對存儲器層次進行建模。

算法運行時間

• 運行時間取決於輸入的內容

  • 相同規模$n$,不一樣的序列有不一樣的運行時間，好比逆序序列或者順序序列

• 運行時間取決於數據的規模

  • $n$越大，時間天然越多
  • 通常來講，算法所需時間與輸入規模同步增加，所以一個程序的運行時間是其輸入的函數

• 一般咱們關心運行時間的上限(最壞狀況)

• 注：咱們分析時間時要使用機器獨立的時間單位，即不考慮機器不一樣帶來的影響。

插入排序時間分析

• 假設每行每次執行的時間爲常量$c_i$

for j: 2 to length[A]:
	do key = A[j]
	   i = j-1
       while i>0 and A[i]>key
       		do A[i+1] = A[i]
       		i = i-1
       A[i+1] = key

1. $cost:c_1;times:n$ (包含跳出循環的那次)

   注：for循環是剛剛進入循環時就要判斷一次條件，而後再執行j--，再判斷條件，直到判斷條件不知足，不進入循環。假設循環$n$個元素，實際執行$n+1$ 次比較

2. $cost:c_2;times:n-1$

3. $cost:c_3;times:n-1$

4. $cost:c_4;times:\sum\limits_{j=2}^nt_j, t_j$ 爲一次for循環中while循環的判斷次數

5. $cost:c_5;times:\sum\limits_{j=2}^n(t_j-1),$

6. $cost:c_6;times:\sum\limits_{j=2}^n(t_j-1)$

7. $cost:c_7;times:n-1$

$t_j$ 取決於與序列排序狀況有關，若是已經排好序了，$A[j-1]$老是小於key了，因此每次for循環只算判斷了一次while，總共$n-1$次，若是是逆序，前一個總比後一個大，知足while條件，每次for循環中while判斷次數爲$t_j=j-1+1=j$ ，總共$\sum\limits_{j=2}^n{t_j}$ 次。

總的運行時間：

$T(n)=c_1n+c_2(n-1)+c_3(n-1)+c_4\sum\limits_{j=2}^n{t_j}+c_5\sum\limits_{j=2}^n(t_j-1)+c_6\sum\limits_{j=2}^n(t_j-1)+c_7(n-1)$

漸進分析

• 若是一個算法的最壞狀況運行時間要比另外一個算法的低，咱們就經常認爲它的效率更高。那麼如何比較兩個算法的運行時間呢？
• 漸進表示：忽略每條語句的真實代價，而用常量$c_i$ 表示，只考慮公式中的最高次項(低階項相對來講不過重要)，忽略最高次項的常數係數（對於增加率而言，係數是次要的）
  • 在輸入的規模較小時，因爲常數項和低次項的影響，這種見解有時多是不對的。對規模足夠大的輸入來講，這種見解老是對的。
• 雖然有時候可以精確肯定一個算法的運行時間，但一般沒有必要。（在RAM模型下，能夠精確計算T(n)）
• 漸近分析更有意義（對不是很小的輸入規模而言，從漸進意義上說更有效的算法就是最佳的選擇）

漸進符號

$\Theta(g(n))={f(n):存在正常數c_1,c_2,n_0,對全部的n\ge{n_0},有0\le{c_1g(n)\le{f(n)}\le{c_2g(n)}}}$

• $\Theta(g(n))$ 是一個集合，記號$f(n)=\Theta(g(n))$ 是指$f(n)$ 是這個集合中的一個元素，不是指相等

• 具體來講：當$n$大於某個數時，一個與$n$有關的函數$f(n)$，無論$n$如何增加，其大小老是被限制到$c_1g(n)$和 $c_2g(n)$之間。

• 在時間複雜度分析中，$f(n)$即咱們所要求的$T(n)$，當咱們不須要精確地求出$T(n)$時，咱們只須要大體知道它隨$n$增加時，其值的上下界如何，即這個算法的運行時間確定不會超過某個時間，不會低於某個時間。

• **好比：$T(n)=\Theta(n^2)$ 表示該算法的運行時間不會超過$c_1n^2$ ，不會低於$c_2n^2$ **

  • $\Theta(n^2)$ 是全部知足該性質的算法的$T(n)$ 的集合

$O(g(n))={f(n):存在正常數c,n_0,對全部的n\ge{n_0},有0\le{f(n)}\le{cg(n)}}$

• 描述了算法運行的上界，不會超過常數倍的$g(n)$ ，即最壞狀況
• 好比 $T(n)=O(n^2)$ 表示該算法運行時間不會超過$cn^2$

$\Omega(g(n))={f(n):存在正常數c,n_0,對全部的n\ge{n_0},有0\le{cg(n)}\le{f(n)}}$

• 描述算法運行的下界，表示不低於常數倍$cg(n)$

一個漸進正函數中的低階項和最高階項的係數在決定漸進確界(上界、下界)時能夠被忽略

分治算法分析

• 分治法在每一層遞歸上都有三個步驟：

  分解：將原問題分解爲若干個規模較小，相互獨立，與原問題形式相同的子問題；

  解決：若子問題規模較小而容易被解決則直接解，不然遞歸地解各個子問題；

  **合併：**將各個子問題的解合併爲原問題的解。

• 另外，分解到什麼規模就夠了呢？即分解到子問題能夠找到一個方法，使得在線性時間/常量時間內就能夠解決。好比歸併排序問題，排序到何時最容易解決呢？固然是分解到序列內只有一個元素

• 分治法的遞歸式

  • $T(n)$ 爲規模爲$n$的問題的運行時間,$D(n)$爲分解問題所需時間,$C(n)$ 爲合併解所需時間 $$ T(n)=\begin{cases} \Theta(1) & n\le{c} \ aT(n/b)+D(n)+C(n) & otherwise \ \end{cases} $$

• 使用分治法的歸併排序的遞歸式

  • 第一個式子就是分解到什麼規模能夠經過$O(1)$時間來解決，第二個式子描述的就是子問題的運行時間加上歸併所須要的時間

$$ T(n)=\begin{cases} \Theta(1) & n=1 \ \underbrace{2T(n/2)}{對兩個子序列排序}+\underbrace{\Theta(n)}{合併解} & n>1 \ \end{cases} $$

遞歸式求解

$$ T(n)=\begin{cases} \Theta(1) & n=1 \ 2T(n/2)+\Theta(n) & n>1 \ \end{cases} $$

注意問題：

• 假設自變量爲整數
• 忽略邊界條件
• 忽略上取整，下取整的影響，先假設總可以被整除，等獲得結果後再肯定他們是否重要

代換法

• 猜想解的形式
• 用數學概括法找出使解真正有效的常數
• 僅僅適用於解的形式很容易猜的時候

遞歸樹

• 將遞歸式轉換成樹形結構，樹中的節點表明在不一樣遞歸層次付出的代價，利用對和式限界的技術解出遞歸式

主方法

• 給出遞歸形式$T(n)=aT(n/b)+f(n)$的界，其中$a≥1，b>1，f(n)$是給定的函數