教你編寫簡單的網絡爬蟲

1、網絡爬蟲的基本知識html 網絡爬蟲經過遍歷互聯網絡，把網絡中的相關網頁所有抓取過來，這體現了爬的概念。爬蟲如何遍歷網絡呢，互聯網能夠看作是一張大圖，每一個頁面看作其中的一個節點，頁面的鏈接看作是有向邊。圖的遍歷方式分爲寬度遍歷和深度遍歷，可是深度遍歷可能會在深度上過深的遍歷或者陷入黑洞。因此，大多數爬蟲不採用這種形式。另外一方面，爬蟲在按照寬度優先遍歷的方式時候，會給待遍歷的網頁賦予必定優先

>>阅读原文<<