scrapy爬蟲與反爬蟲

scrapy爬蟲與反爬蟲 更多文章歡迎訪問個人博客 www.herobin.top 爬蟲和反爬蟲 爬蟲：自動獲取網站數據的程序，關鍵是批量的獲取 反爬蟲：使用技術手段防止爬蟲程序的方法 誤傷：反爬技術將普通用戶識別爲爬蟲，如果誤傷過高，效果再好也不能用 成本：反爬蟲需要的人力和機器成本 攔截：成功攔截爬蟲，一般攔截率越高，誤傷率越高 反爬蟲的目的 初級爬蟲：簡單粗暴，不管服務器壓力，容易弄掛網站

>>阅读原文<<