怎樣僞裝自己的爬蟲？

爬取網頁被拒？看這裏，要學會包裝自己家的爬蟲 1.方法一：進行ip代理中間件的編寫 這種方法呢，需要首先購買一個代理IP，可以去阿布雲進行購買，這裏並不推薦 2.方法二：進行user_agent中間件的編寫（能白漂，難道它不香嗎） （1）打開middlewares.py編寫如下 （2）這裏強調一下USER_AGENT_LIST列表可以到百度上搜一個，這裏我們用的是一個360的USER_AGENT

>>阅读原文<<