Scrapy項目步驟

1:建立項目json

scrapy startproject xxxscrapy

2:編寫items.py文件ide

設置須要保存的數據字段xml

3:進入xxx.spiders源碼

編寫爬蟲文件,文件裏的name就是爬蟲名(不一樣於項目名)it

4:運行csv

scrapy crawl 爬蟲名數據

scrapy crawl 爬蟲名 -o json/csv/xml項目

 

附:文件

顯示HTML源碼:response.body

相關文章
相關標籤/搜索