scrapy

Scrapy主要包括了以下組件： 引擎(Scrapy) 用來處理整個系統的數據流處理, 觸發事務(框架核心) 調度器(Scheduler) 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址 下載器(Downloader) 用於下載網頁內容, 並將網頁內容返

>>阅读原文<<