垂直型爬蟲架構設計

(一) 1.爬蟲的分類:         對於我來說,爬蟲分爲兩類:             需要載入配置文件的爬蟲與不需要載入配置文件的爬蟲。             其實也就是人們常說的垂直型爬蟲跟寬度(深度)遍歷爬蟲。     2.爬蟲的架構:         1.寬度遍歷爬蟲。             做過SEO的朋友大概都知道,如果一個網站需要百度能夠儘快的抓取,那麼僅僅優化關鍵詞,提高
相關文章
相關標籤/搜索