scrapy框架 對全站信息的爬取(以爬取全站天氣信息爲例)

思路: scrapy爬取整個網站的流程(以爬取所有省份的所有城市的所有年份的所有季度的所有月份的每一天爲例) 在scarpy的類中，定義一個開始的url 通過第一個函數和url來獲取每一個省份的所有城市的url鏈接，對於每一個url鏈接，通過yield方法和callback函數來調用第二個函數並且通過yield方法傳入各個城市的url信息 在第二個函數中，通過bs4或者xpath或者正則表達

>>阅读原文<<