封裝了一些 python 爬蟲技巧,開箱即用

源 / Python開發者(PythonCoder) 這些腳本有一個共性,都是和web相關的,總要用到獲取鏈接的一些方法,再加上simplecd這個半爬蟲半網站的項目,累積不少爬蟲抓站的經驗,在此總結一下,那麼以後做東西也就不用重複勞動了。 1.最基本的抓站 importurllib2 content = urllib2.urlopen( http://XXXX ).read() 2.使用代理服務
相關文章
相關標籤/搜索