介紹requests+threading多線程爬蟲,提取採用xpath 和正則兩種,介紹線程鎖

爬蟲專業的都喜歡scrapy框架,但scrapy上手需要時間,對初學者不太適合。 本文介紹使用requets爬蟲,爲了利於演示學習,使用了xpath解析html和完全使用正則來提取兩種方法,僅供參考。 代碼是爬取http://esf.sz.fang.com/,房天下網站的深圳二手房信息 import requests,json,random import re,threading from lxm
相關文章
相關標籤/搜索