金利道團隊分享-基於MapReduce的PageRank算法

業務需求及編程思路

PageRank簡單計算

假設一個由只有4個頁面組成的集合：A，B，C和D。若是全部頁面都鏈向A，那麼A的PR（PageRank）值將是B，C及D的和。

      

 

 

       繼續假設B也有連接到C，而且D也有連接到包括A的3個頁面。一個頁面不能投票2次。因此B給每一個頁面半票。以一樣的邏輯，D投出的票只有三分之一算到了A的PageRank上。

      

 

 

      換句話說，根據鏈出總數平分一個頁面的PR值。

      

 

 

一、自定義一個節點工具類NodeUtils，包括pr值、出鏈數等屬性

 

 

 

二、Map類

 

 

 

三、Reduce類

 

 

 

四、主程序

 

 

五、運行程序