scrapy爬蟲架構介紹和初試

1、scrapy簡介 Scrapy 是一套基於Twisted的異步處理框架,是純python實現的爬蟲框架,用戶只須要定製開發幾個模塊就能夠輕鬆的實現一個爬蟲,用來抓取網頁內容或者各類圖片。下圖顯示了Scrapy的大致架構,其中包含了scheduler、item pipeline、downloader、spider以及engine這幾個組件模塊,而其中的綠色箭頭則說明了整套系統的數據處理流程。ht
相關文章
相關標籤/搜索