垂直型爬蟲架構設計

（一） 1.爬蟲的分類：         對於我來說，爬蟲分爲兩類：             需要載入配置文件的爬蟲與不需要載入配置文件的爬蟲。             其實也就是人們常說的垂直型爬蟲跟寬度（深度）遍歷爬蟲。     2.爬蟲的架構：         1.寬度遍歷爬蟲。             做過SEO的朋友大概都知道，如果一個網站需要百度能夠儘快的抓取，那麼僅僅優化關鍵詞，提高

>>阅读原文<<