scrapy庫學習

scrapy是一個爬蟲框架，爬蟲框架是實現爬蟲功能的一個軟件結構和功能組件集合，是一個半成品，能夠幫助用戶實現專業網站爬蟲。 功能模塊分析 Engine 整個框架的核心，控制所有模塊之間的數據流 根據條件觸發事件 Downloader -> 根據請求下載網頁 Scheduler ->對所有爬取請求進行調度管理 Downloader Middleware ->實施三者之間進行用戶可配置的控制，修改，

>>阅读原文<<