python爬蟲代理與反爬蟲戰略

做網絡爬蟲的當然期待能爬取的數據信息儘可能多一點，儘量高效一些，隨後好做分析，獲得自身所需要的;而做爲網站主當然期待自身的網站能夠正常運行，自己的勞動成果不被他人竊取。因此，網絡爬蟲與反爬蟲的戰爭就開始了! 一、IP活動出現異常 網站主能夠利用網站流量統計看得出一些異常瀏覽，例如相同IP地址推送了越來越多相近的請求，相同IP瀏覽的速度反人類，那麼網站主便會作出反擊。 1、瀏覽速率限定 2、瀏覽頻繁

>>阅读原文<<