scrapy框架的基本使用

1、使用場景 在須要爬取的數據量極大的狀況下，建議使用scrapy框架。性能好。php 2、scrapy工做原理 engine 引擎，相似於一箇中間件，負責控制數據流在系統中的全部組件之間流動，能夠理解爲「傳話者」 spider 爬蟲，負責解析response和提取Item downloader 下載器，負責下載網頁數據給引擎 scheduler 調度器，負責將url入隊列，默認去掉重複的url

>>阅读原文<<