scrapy爬蟲架構介紹和初試

1、scrapy簡介 Scrapy 是一套基於Twisted的異步處理框架，是純python實現的爬蟲框架，用戶只須要定製開發幾個模塊就能夠輕鬆的實現一個爬蟲，用來抓取網頁內容或者各類圖片。下圖顯示了Scrapy的大致架構，其中包含了scheduler、item pipeline、downloader、spider以及engine這幾個組件模塊，而其中的綠色箭頭則說明了整套系統的數據處理流程。ht

>>阅读原文<<