Scrapy網絡爬蟲簡介

Scrapy 是一個爲了爬取網站數據、提取結構性數據而編寫的應用框架，可以應用在包括數據挖掘、信息處理或存儲歷史數據等一系列的程序中。 1. Scrapy 架構 Scrapy 的整體架構由 Scrapy 引擎（ScrapyEngine）、調度器（Scheduler）、下載器（Downloader）、爬蟲（Spiders）和數據項管道（itemPipeline）5 個組件組成。圖 1 展示了各個組件

>>阅读原文<<