Scrapy框架流程圖詳解

（一）、Scrapy框架介紹： 我們寫一個爬蟲，需要做很多事情，比如：發送網絡請求、數據解析、數據存儲、反爬蟲、反反爬蟲（更換ip代理、設置請求頭等）、異步請求等。這些事情在我們每一次寫爬蟲代碼的時候都要自己從零開始寫的話，比較浪費時間。因此 Scrapy 把一些基礎的東西封裝好了，在它上面寫爬蟲可以變的更加高效。 （二）、Scrapy架構圖及各個組件： 流程圖（1）： 流程圖（2）： Scrap

>>阅读原文<<