scrapy實例:爬取天氣、氣溫等

1.創建項目 scrapy startproject weather # weather是項目名稱   scrapy crawl spidername開始運行,程序自動使用start_urls構造Request併發送請求,然後調用parse函數對其進行解析, 在這個解析過程中使用rules中的規則從html(或xml)文本中提取匹配的鏈接,通過這個鏈接再次生成Request,如此不斷循環,直到返回
相關文章
相關標籤/搜索