Scrapy框架架構

Scrapy框架介紹： 寫一個爬蟲，需要做很多的事情。比如：發送網絡請求、數據解析、數據存儲、反反爬蟲機制（更換ip代理、設置請求頭等）、異步請求等。這些工作如果每次都要自己從零開始寫的話，比較浪費時間。因此Scrapy把一些基礎的東西封裝好了，在他上面寫爬蟲可以變的更加的高效（爬取效率和開發效率）。 Scrapy架構圖： 流程圖（1）： 流程圖（2）： Scrapy框架模塊功能： Scrapy

>>阅读原文<<