python爬蟲：Scrapy框架架構

Scrapy框架架構 Scrapy框架介紹： 寫一個爬蟲，須要作不少的事情。好比：發送網絡請求、數據解析、數據存儲、反反爬蟲機制（更換ip代理、設置請求頭等）、異步請求等。這些工做若是每次都要本身從零開始寫的話，比較浪費時間。所以Scrapy把一些基礎的東西封裝好了，在他上面寫爬蟲能夠變的更加的高效（爬取效率和開發效率）。所以真正在公司裏，一些上了量的爬蟲，都是使用Scrapy框架來解決。html

>>阅读原文<<