Scrapy框架架構

Scrapy框架介紹 寫一個爬蟲,需更做很多的事情。比如:發送網絡請求、數據解折、數據存儲、反反爬蟲機制(更換IP'代理、設置請求頭等)、異步請求等。這些工作如果每次都要自己從零開始寫的話,比較浪費時間。因此scrapy把一些基礎的東西封裝好了,在他上面寫蟲可以變的更加的高效(爬取效率和開發效率)。因此真正在公司裏,一些上了量的配蟲,都是使用scrap架來解決。   Scrap框架模塊功能 1.s

>>阅读原文<<