Scrapy框架的使用之Scrapy框架介紹

Scrapy是一個基於Twisted的異步處理框架，是純Python實現的爬蟲框架，其架構清晰，模塊之間的耦合程度低，可擴展性極強，可以靈活完成各種需求。我們只需要定製開發幾個模塊就可以輕鬆實現一個爬蟲。 1. 架構介紹 首先我們看看Scrapy框架的架構，如下圖所示。 它可以分爲如下的幾個部分。 Engine。引擎，處理整個系統的數據流處理、觸發事務，是整個框架的核心。 Item。項目，它定義了

>>阅读原文<<