爬蟲的幹活——scrapy框架學習總結（未完成）

一、scrapy框架基本介紹 在進行數據處理中，數據的獲取是一個非常重要的環節。通用爬蟲模型雖然能滿足日常的數據獲取需求，但是在性能、數據流程處理方面，自己再去編寫相關的模塊費時費力，也爲了避免重複造輪子，因此之前就學習了scrapy框架，方便在較短的時間內去實現更快、更強大、更穩定的爬蟲。 普通的requests+selenium模塊是可以滿足絕大多數的爬蟲需求了，scrapy框架則可以在此基礎

>>阅读原文<<