python爬蟲框架Scrapy

目錄 Scrapy簡介 入門案例 Scrapy簡介 Scrapy主要包括瞭如下組件：()javascript 引擎(ScrapyEngine) 用來處理整個系統的數據流處理, 觸發事務(框架核心)html 調度器(Scheduler) 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 能夠想像成一個URL（抓取網頁的網址或者說是連接）的優先隊列, 由它來決定下一個要抓取的網址

>>阅读原文<<