scrapy shell 用法（慢慢更新...）

scrapy shell 命令

1.scrapy shell url　　#url指你所須要爬的網址

2.有些網址數據的爬取須要user-agent，scrapy shell中能夠直接添加頭文件，

第①種方法

　　 scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" url　　#url指你所須要爬的網址

第②種方法  

　　scrapy shell

　　from scrapy import Request

　　req=Request("url",headers={'User-Agent':"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"})

　　resp=fetch(req)

3.對於爬取到的網址的數據，但願將其保存到本地文件中，

　　with open("e:/python/text.txt",'w') as f:

　　　　f.write(response.body.decode('utf-8'))

4.scrapy shell對於檢驗正則表達式和css以及xpath是很方便的用法，

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36" url　　#該步驟以後將獲得一個頁面請求的回答信息response

response.css(".job-name::attr(title)")　　#使用css提取到具體數據

 

未完待續。。。