scrapy與scrapy-redis

                          Scarp框架 需求 獲取網頁的url 下載網頁內容(Downloader下載器) 定位元素位置, 獲取特定的信息(Spiders 蜘蛛) 存儲信息(ItemPipeline, 一條一條從管裏走) 隊列存儲(scheduler 調度器) 首先, spiders 給我們一個初始的URL,  spider獲取列表頁內的詳情頁的url. 其次, 將ur

>>阅读原文<<