【十大經典數據挖掘算法】PageRank

【十大經典數據挖掘算法】系列

1. C4.5
2. K-Means
3. SVM
4. Apriori
5. EM
6. PageRank
7. AdaBoost
8. kNN
9. Naïve Bayes
10. CART

---

我特意把PageRank做爲【十大經典數據挖掘算法】系列的收尾篇，是由於本人是Google腦殘粉。因了PageRank而Google得以成立，因了Google而這個世界變得好了那麼一點點。

1. 引言

PageRank是Sergey Brin與Larry Page於1998年在WWW7會議上提出來的，用來解決連接分析中網頁排名的問題。在衡量一個網頁的排名，直覺告訴咱們：

• 當一個網頁被更多網頁所連接時，其排名會越靠前；
• 排名高的網頁應具備更大的表決權，即當一個網頁被排名高的網頁所連接時，其重要性也應對應提升。

對於這兩個直覺，PageRank算法所創建的模型很是簡單：一個網頁的排名等於全部連接到該網頁的網頁的加權排名之和：

\begin{equation}
PR_i = \sum_{(j,i)\in E} \frac{PR_j}{O_j}
\label{eq:pr1}
\end{equation}

\(PR_i\)表示第\(i\)個網頁的PageRank值，用以衡量每個網頁的排名；若排名越高，則其PageRank值越大。網頁之間的連接關係能夠表示成一個有向圖\(G=(V,E)\)，邊\((j,i)\)表明了網頁\(j\)連接到了網頁\(i\)；\(O_j\)爲網頁\(j\)的出度，也可看做網頁\(j\)的外鏈數（ the number of out-links）。

假定\(P=(PR_1, PR_2, \cdots, PR_n)^T\)爲n維PageRank值向量，\(A\)爲有向圖\(G\)所對應的轉移矩陣，

\[ A_{ij}=\left \{ { \matrix { \frac{1}{O_i} & if \ (i,j) \in E \cr 0 & otherwise } } \right. \]

\(n\)個等式\eqref{eq:pr1}可改寫爲矩陣相乘：

\begin{equation}
P = A^T P
\label{eq:pr2}
\end{equation}

可是，爲了得到某個網頁的排名，而須要知道其餘網頁的排名，這不就等同於「是先有雞仍是先有蛋」的問題了麼？幸運的是，PageRank採用power iteration方法破解了這個問題怪圈。欲知詳情，請看下節分解。

2. 求解

爲了對上述及如下求解過程有個直觀的瞭解，咱們先來看一個例子，網頁連接關係圖以下圖所示：

那麼，矩陣\(A\)即爲

所謂power iteration，是指先給定一個\(P\)的初始值\(P^0\)，而後經過多輪迭代求解:

\[ P^k = A^TP^{k-1} \]

最後收斂於\(||P^k-P^{k-1}|| < \xi\)，即差異小於某個閾值。咱們發現式子\eqref{eq:pr2}爲一個特徵方程（characteristic equation），而且解\(P\)是當特徵值（eigenvalue）爲\(1\)時的特徵向量（eigenvector）。爲了知足\eqref{eq:pr2}是有解的，則矩陣\(A\)應知足以下三個性質：

• stochastic matrix，則行至少存在一個非零值，即必須存在一個外連接（沒有外連接的網頁被稱爲dangling pages）；
• 不可約（irreducible），即矩陣\(A\)所對應的有向圖\(G\)必須是強連通的，對於任意兩個節點\(u,v \in V\)，存在一個從\(u\)到\(v\)的路徑；
• 非週期性（aperiodic），即每一個節點存在自迴路。

顯然，通常狀況下矩陣\(A\)這三個性質均不知足。爲了知足性質stochastic matrix，能夠把全爲0的行替換爲\(\mathrm{e}/n\)，其中\(e\)爲單位向量；同時爲了知足性質不可約、非週期，須要作平滑處理：

\[ P=\left( (1-d)\frac{\mathrm{E}}{n} + dA^T\right) \]

其中，\(d\)爲 damping factor，常置爲0與1之間的一個常數；\(E\)爲單位陣。那麼，式子\eqref{eq:pr1}被改寫爲

\[ PR_i = (1-d) + d\sum_{(j,i)\in E} \frac{PR_j}{O_j} \]

3. 參考資料

[1] Bing Liu and Philip S. Yu, "The Top Ten Algorithms in Data Mining" Chapter 6.