爬蟲入門我的學習筆記

爬蟲入門 文章目錄 爬蟲入門 相關注釋與說明 1. 部分章節若帶有「*」，說明章節選讀 1. 關於爬蟲 1.1 爬蟲的產生背景 1.2 爬蟲的概念 1.3 爬蟲的分類 1.4 爬蟲的工做原理 1.5 爬蟲爬取相關注意事項 1.5.1 robots.txt 文件 1.5.2 Sitemap.xml 文件 1.6 應對反爬蟲的策略 (1) 設置User—Agent (2) 使用代理IP (3) 下降訪

>>阅读原文<<