大數據面試題-兩個大文件中找出共同記錄

1.題目描述 給定a、b兩個文件，各存放50億個url，每一個url各佔64字節，內存限制是4G，讓你找出a、b文件共同的url?算法 2.思考過程 （1）首先咱們最常想到的方法是讀取文件a，創建哈希表（爲何要創建hash表？由於方便後面的查找），而後再讀取文件b，遍歷文件b中每一個url，對於每一個遍歷，咱們都執行查找hash表的操做，若hash表中搜索到了，則說明兩文件共有，存入一個集合。數據

>>阅读原文<<