Scrapy爬蟲框架——介紹

一、Scrapy爬蟲框架介紹 Scrapy不是一個函數功能庫，而是一個爬蟲框架。 爬蟲框架是實現爬蟲功能的一個軟件結構和功能組件集合。 爬蟲框架是一個半成品，能夠幫助用戶實現專業網絡爬蟲 二、Scrapy框架結構（5+2結構） 三、框架的數據流路徑（三條） 第一條路徑： 1.Engine從Spider處獲得爬取請求(Request) (框架入口) 2.Engine將爬取請求轉發給Scheduler

>>阅读原文<<