大數據算法面試題

一、給定 a、b 兩個文件，各存放 50 億個 url，每一個 url 各佔 64 字節，內存限制是 4G，讓你找出 a、b 文件共同的 url？ 1) 能夠估計每一個文件安的大小爲 50G×64=320G，遠遠大於內存限制的 4G。因此不可能將其徹底加載到內存中處理。考慮採起 分而治之 的方法。 2) 遍歷文件 a，對每一個 url 求取 ，而後根據所取得的值將 url 分別存儲到 1000 個

>>阅读原文<<