scrapy框架經常使用命令

1.新建一個scrapy項目

scrapy startproject mySpider

2.新建一個爬蟲文件

# 使用crawl 模板建立,適用於整站爬取
scrapy genspider -t crawl qsbk 'qiushibaike.com' 

# 使用basic模板建立,適用於循環爬取有規律的網址
scrapy genspider -t basic im "imooc.com"

3.啓動爬蟲

# 無日誌啓動
scrapy crawl jdsc --nolog

# 有日誌啓動
scrapy crawl jdsc --nolog