scrapy爬取多頁數據

初始化一個項目 新建一個爬蟲文件 要爬取的網頁 - 在a標籤上右鍵 copy >>> copy xPath 複製到剪切板的是如下內容 /html/body/div[2]/div[2]/div[1]/div[4]/ul/li[2]/a 獲取所有的需要爬取的頁面url scrapy runspider getNews.py -o newsData.json 編寫解析函數 scrapy runspide

>>阅读原文<<