Scrapy框架入門、創建scrapy文件

簡單理解一下scrapy框架，架構圖如下： scrapy engine 核心引擎 Scheduler 調度器：獲取requests生成隊列，傳遞requests至downloader downloader 下載器：處理requests，獲取頁面數據。引擎和下載器直接有一箇中間件。 spiders 解析器：解析responses，返回items，生成新的requests傳遞至scheduler。引擎

>>阅读原文<<