1.瞭解Scrapy爬蟲框架

Scrapy是一個爬蟲框架而非功能函數庫，簡單地說，它是一個半成品，可以幫助用戶簡單快速地部署一個 專業的網絡爬蟲。Scrapy爬蟲框架主要由引擎（Engine）、調度器（Scheduler）、下載器（ Downloader）、Spiders、Item Pipelines、下載器中間件（Downloader Middlewares）、Spider中 間件（Spider Middlewares）這7

>>阅读原文<<