我們先來了解下什麼是網絡爬蟲？

網絡爬蟲又被稱爲網頁蜘蛛、網絡螞蟻、網絡機器人等，可以自動化瀏覽網絡中的信息，當然瀏覽信息的時候需要按照我們制定的規則進行，這些規則我們稱之爲網絡爬蟲算法。   爬蟲的對象較豐富：文字、圖片、視頻、任何結構化非結構化的數據爬蟲。也衍生了一些爬蟲類型： 通用爬蟲是搜索引擎抓取系統（百度、谷歌、搜狗等）的重要組成部分，把互聯網上的所有網頁下載下來，放到本地服務器裏形成備份，在對這些網頁做相關處理，主要

>>阅读原文<<