入坑爬蟲(一)爬蟲的基本概念

什麼是爬蟲 網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人）就是模擬瀏覽器發送網絡請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序. 原則上來說,只要是瀏覽器(客戶端)能做的事情，爬蟲都能夠做. 爬蟲的分類和流程 根據被爬網站的數量的不同，我們把爬蟲分爲： 通用爬蟲 ：通常指搜索引擎的爬蟲(百度, 谷歌, 360等) 聚焦爬蟲 ：針對某種需求針對特定網站的爬蟲 爬蟲的流程 向起始url發

>>阅读原文<<