Python爬蟲概述

1. 什麼是網絡爬蟲 2. 爬蟲分類 3. 網絡爬蟲引發的問題 4. HTTP/HTTPS的請求與響應 4.1 請求方法 4.2 常用的請求報頭 4.3 服務端響應狀態碼 5. Robots協議 6. 反爬策略 7. 爬蟲基本流程 1. 什麼是網絡爬蟲 網絡爬蟲是指按照某種規則在網絡上爬取所需內容的腳本程序。每個網頁通常包含其他網頁的入口，網絡爬蟲則是通過一個網址依次進入到網站，模擬客戶端發送網絡

>>阅读原文<<