淺談網絡爬蟲中深度優先算法和簡單代碼實現

學過網站設計的小夥伴們都知道網站通常都是分層進行設計的，最上層的是頂級域名，之後是子域名，子域名下又有子域名等等，同時，每個子域名可能還會擁有多個同級域名，而且URL之間可能還有相互鏈接，千姿百態，由此構成一個複雜的網絡。   當一個網站的URL非常多的時候，我們務必要設計好URL，否則在後期的理解、維護或者開發過程中就會非常的混亂。理解以上的網頁結構設計之後，現在正式的引入網絡爬蟲中的深度優先算

>>阅读原文<<