System Design: Web Crawler

資料整理來源： https://www.jiuzhang.com/qa/871/ https://zhuanlan.zhihu.com/p/20821699 Crawler實質是一個BFS的過程。從某個網站的主頁開始作爲起點，進行BFS。對每一個頁面含有的URL都放入隊列當中。再進行迭代。 我們可以把整個過程抽象成爲一幅有向圖的BFS。但是，爬蟲可以在BFS的基礎上產生更多的問題。比如，每個頁面還

>>阅读原文<<