海量數據實戰（0）從兩個文件50億數據中找出相同的URL

問題：給定a、b兩個文件，各存放50億個url，每一個url各佔64字節，內存限制是4G，讓你找出a、b文件共同的url？ios 目錄：git Step 1 產生500億 URL Step 2 將500億URL大文件哈希爲10000個小文件 Step 2.1 字符串哈希函數BKDRHash Step 2.2 獲取文件大小 Step 2.3 獲取某一目錄下指定後綴的全部文件 Step 3 使用set

>>阅读原文<<