scrapy爬取優信二手車

學習scrapy須要必定的小項目練手,最近在練習使用scrapy來爬取瓜子二手車的信息,可是不知道爲何總是出現203錯誤,cookie,robot協議,請求頭什麼的都搞了,可是仍是不行.最後只能退而求其次,來爬取優信二手車的信息了 經過觀察優信二手車的信息,發現信息與瓜子二手車的信息差很少一致,關鍵是還不反爬(沒有使用IP代理,也沒有封個人IP),固然仍是須要設置一下延時的,若是過快會出現驗證碼

>>阅读原文<<