Scrapy學習筆記(1) --Scrapy的介紹

一、Scrapy簡介 Scrapy，Python開發的一個快速(基於異步處理框架Twisted)、高層次的屏幕抓取和web抓取框架，用於抓取web站點並從頁面中提取結構化的數據。Scrapy用途廣泛，可以用於數據挖掘、監測和自動化測試。 二、Scrapy的構成 Scrapy主要由以下組件組成: Scheduler:url調度器，接收來自Scrapy Engine的請求，並壓入隊列，在Scrapy

>>阅读原文<<