scrapy框架原理

scrapy     數據的流程 scrapy初始的內容是添加在 spiders內部的, 它的初始的url的獲取通過兩種方式, 第一種就是: start_urls, 第二種就是: 函數 start_request() spiders會將url 傳遞並存儲到sheduler中, scheduler就是一個存儲url(Request)的隊列. scheduler 中的url, 我們會獲取這些url放到

>>阅读原文<<