布隆過濾器(BloomFilter)——應用(三)

文章目錄 布隆過濾器(BloomFilter)——應用(三) 1. 分佈式爬蟲 2. 大型NoSQL數據庫 3. 電子郵件過濾 布隆過濾器(BloomFilter)——應用(三) 1. 分佈式爬蟲 簡介 大型爬蟲項目通常會採用分佈式架構，以多個節點協做的方式進行，以達到快速、高效地爬取海量網頁數據的目的。要進行協做，那就須要一個分佈式中間件，用於相互通知。分佈式爬蟲項目通常將已經爬取的網址存儲與中

>>阅读原文<<