海量數據的二度人脈挖掘算法（Hadoop 實現）

      原創博客，轉載請註明：http://my.oschina.net/BreathL/blog/75112  

      最近作了一個項目，要求找出二度人脈的一些關係，就好似新浪微博的「你可能感興趣的人」 中，間接關注推薦；簡單描述：即你關注的人中有N我的同時都關注了 XXX 。

     在程序的實現上，其實咱們要找的是：若 User1 follow了10我的 ｛User3，User4，User5，... ，User12｝記爲集合UF1，那麼 UF1中的這些人，他們也有follow的集合，分別是記爲： UF3（User3 follow的人），UF4，UF5，...，UF12；而在這些集合確定會有交集，而由最多集合求交產生的交集，就是咱們要找的：感興趣的人。

     我在網上找了些，關於二度人脈算法的實現，大部分無非是經過廣度搜索算法來查找，因爲深度已經明確了2之內；這個算法其實很簡單，第一步找到你關注的人；第二步找到這些人關注的人，最後找出第二步結果中出現頻率最高的一個或多我的，即完成。

     但若是有千萬級別的用戶，那在運算時，就確定會把這些用戶的follow 關係放到內存中，計算的時候依次查找；先說明下我沒有明確的診斷對比，這樣作的效果不必定就不如 基於hadoop實現的好；只是本身，想用hadoop實現下，最近也在學；如有不足的地方還請指點。

     首先，個人初始數據是文件，每一行爲一個follow 關係 ida+‘\t’+idb；表示 ida follow idb。其次，用了2個Map/Reduce任務。

Map/Reduce 1：找出 任意一個用戶 的 follow 集合與 被 follow 的集合。如圖所示：

代碼以下：

     Map任務： 輸出時 key ：間接者 A 的ID ，value：follow 的人的ID 或 被follow的人的ID

    public void map(Text key, IntWritable values, Context context) throws IOException,InterruptedException{
		int value = values.get();
		//切分出兩個用戶id
		String[] _key = Separator.CONNECTORS_Pattern.split(key.toString());
		if(_key.length ==2){
			//"f"前綴表示 follow；"b" 前綴表示 被follow
			context.write(new Text(_key[0]), new Text("f"+_key[1]));
			context.write(new Text(_key[1]), new Text("b"+_key[0]));
			
			
		}
	}

     Reduce任務： 輸出時    key ：間接者 A 的ID ， value爲 兩個String，第一個而follow的全部人（用分割符分割），第二個爲 被follow的人（一樣分割）

    protected void reduce(Text key, Iterable<TextPair> pairs, Context context)
	 throws IOException,InterruptedException{
		StringBuilder first_follow = new StringBuilder();
		StringBuilder second_befollow = new StringBuilder();
		
		for(TextPair pair: pairs){
		    String id = pair.getFirst().toString();
		    String value = pair.getSecond().toString();
			if(id.startsWith("f")){
				first_follow.append(id.substring(1)).append(Separator.TABLE_String);
			} else if(id.startsWith("b")){
				second_befollow.append(id.substring(1)).append(Separator.TABLE_String);
			}
		}
		
		context.write(key, new TextPair(first_follow.toString(),second_befollow.toString()));
    }

     其中Separator.TABLE_String爲自定義的分隔符；TextPair爲自定義的 Writable 類，讓一個key能夠對應兩個value，且這兩個value可區分。

 

Map/Reduce 2：在上一步關係中，若B follow A，而 A follow T ，則能夠得出 T 爲 B 的二度人脈，且 間接者爲A ，因而找出 相同二度人脈的不一樣間接人。如圖所示：

代碼以下：

     Map 任務：輸出時 key 爲 由兩個String 記錄的ID表示的 二度人脈關係，value 爲 這個二度關係產生的間接人的ID

public void map(Text key, TextPair values, Context context) throws IOException,InterruptedException{
        //Map<String, String> first_follow = new HashMap<String, String>();
        //Map<String, String> second_befollow = new HashMap<String, String>();
        //String _key = key.toString();
        String[] follow = values.getFirst().toString().split(Separator.TABLE_String);
        
        String[] befollow = values.getSecond().toString().split(Separator.TABLE_String);
        
        for(String f : follow){
        	for(String b : befollow){
        	     //避免本身關注本身
        	    if(!f.equals(b)){
        		    context.write(new TextPair(f.getKey() ,b.getKey()), new Text(key));
        		}
        	}
        }
  }

     Reduce任務：輸出時 key 仍然爲二度人脈關係， value 爲全部間接人 的ID以逗號分割。

protected void reduce(TextPair key, Iterable<Text> values, Context context)
		throws IOException, InterruptedException {
		
		StringBuilder resutl = new StringBuilder();
		for (Text text : values){
			resutl.append(text.toString()).append(",");
		}
		
		context.write(key, new Text(resutl.toString()));
	}

     到這步，二度人脈關係基本已經挖掘出來，後續的處理就很簡單了，固然也能夠基於二度人脈挖掘三度，四度：）