[Scrapy學習01]——Scrapy簡單介紹

1. Scrapy簡介 Scrapy這個爬蟲框架主要由以下組件來組成： 引擎(Scrapy): 用來處理整個系統的數據流處理, 觸發事務。(是框架核心) 調度器(Scheduler): 用來接受引擎發過來的請求, 將請求放入隊列中, 並在引擎再次請求的時候返回.它來決定下一個要抓取的網址是什麼, 同時擔負着「網址去重」這一重要工作。 下載器(Downloader): 用於下載網頁內容, 並將網頁內

>>阅读原文<<