python爬蟲的一些基本技巧

1 、 基本抓取網頁 get方法 post方法 2、使用代理IP 在開發爬蟲過程中經常會遇到IP被封掉的情況，這時候就需要用到代理IP； 在urllib2包中有ProxyHandler類，通過此類可以設置代理訪問網頁，如下： 3、Cookies處理 Cookies是某些網站爲了辨別用戶身份、進行session跟蹤而儲存在本地終端的數據（通常經過加密的），python提供了cookielib模塊用於

>>阅读原文<<