Scrapy的架構初探

Scrapy，Python開發的一個web抓取框架。 1，引言 Python即時網絡爬蟲啓動的目標是一塊兒把互聯網變成大數據庫。單純的開放源代碼並非開源的所有，開源的核心是「開放的思路」，聚合最好的想法、技術、人員，因此將會參照衆多領先產品，好比：Scrapy，ScrapingHub，Import.io等。 本文簡單講解一下Scrapy的架構。沒錯， 通用提取器gsExtractor 就是要集成到

>>阅读原文<<