常用的 Python 爬蟲技巧總結

用python也差不多一年多了，python應用最多的場景還是web快速開發、爬蟲、自動化運維：寫過簡單網站、寫過自動發帖腳本、寫過收發郵件腳本、寫過簡單驗證碼識別腳本。 爬蟲在開發過程中也有很多複用的過程，這裏總結一下，以後也能省些事情。 1、基本抓取網頁 get方法 post方法 2、使用代理IP 在開發爬蟲過程中經常會遇到IP被封掉的情況，這時就需要用到代理IP； 在urllib2包中有Pr

>>阅读原文<<