Python學習筆記--Python 爬蟲入門 -18-3 Scrapy架構+案例（IT之家）

圖1.png 圖片來源:https://doc.scrapy.org/en/master/topics/architecture.html 下面的流程圖或許更清晰: 圖2.png Scrapy主要包括了以下組件： 引擎(Scrapy) 用來處理整個系統的數據流, 觸發事務(框架核心) 調度器(Scheduler) 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一

>>阅读原文<<