Python爬蟲概述

1. 什麼是網絡爬蟲 2. 爬蟲分類 3. 網絡爬蟲引起的問題 4. HTTP/HTTPS的請求與響應 4.1 請求方法 4.2 經常使用的請求報頭 4.3 服務端響應狀態碼 5. Robots協議 6. 反爬策略 7. 爬蟲基本流程 1. 什麼是網絡爬蟲 網絡爬蟲是指按照某種規則在網絡上爬取所需內容的腳本程序。每一個網頁一般包含其餘網頁的入口，網絡爬蟲則是經過一個網址依次進入到網站，模擬客戶端發

>>阅读原文<<