小爬爬2.回顧

1.爬蟲三種分類: 通用爬蟲:爬取整個頁面的數據 聚焦爬蟲:爬取經過篩選過濾後的數據,基於一張頁面的局部內容. 增量式爬蟲:爬蟲監測網站更新後的數據,   2.什麼是UA檢測,如何**? UA檢測:服務器會用來通過獲取請求,通過請求獲取請求頭中的UA,通過判定UA的值,知道請求的載體身份標識.   將爬蟲程序發起請求的信息,僞裝成瀏覽器的請求 UA檢測是一種反爬機制,反爬對應的是門戶網站, 反反爬

>>阅读原文<<