爬蟲的原理

1 什麼是爬蟲？ 網絡爬蟲（又被稱爲網頁蜘蛛，網絡機器人）就是模擬瀏覽器發送網絡請求，接收請求響應，一種按照一定的規則，自動地抓取互聯網信息的程序 原則上,只要是瀏覽器(客戶端)能做的事情，爬蟲都能夠做 2 爬蟲的本質 模擬瀏覽器打開網頁，獲取網頁中想要的那部分數據 瀏覽器打開網頁的過程如下： 請求的過程： 瀏覽器先向地址欄中的url發起請求，並獲取相應 在返回的響應內容（html）中，會帶有cs

>>阅读原文<<