scrapy五大核心組件

- scrapy五大核心組件 引擎(Scrapy)     用來處理整個系統的數據流處理, 觸發事務(框架核心) 調度器(Scheduler)     用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址 下載器(Downloader)（scrapy的異步在這

>>阅读原文<<