網絡爬蟲過程中5種網頁去重方法簡要介紹

一般的，我們想抓取一個網站所有的URL，首先通過起始URL，之後通過網絡爬蟲提取出該網頁中所有的URL鏈接，之後再對提取出來的每個URL進行爬取，提取出各個網頁中的新一輪URL，以此類推。整體的感覺就是自上而下進行抓取網頁中的鏈接，理論上來看，可以抓取整站所有的鏈接。但是問題來了，一個網站中網頁的鏈接是有環路的。 舉個栗子，在網站首頁中我們可以看到首頁這個鏈接，之後我們在子網頁中也有可能會看到有個

>>阅读原文<<