centos7下scrapy命令行介紹和使用

# 建立項目
scrapy startproject 項目名稱

# 生成spider
scrapy genspider mydomain mydomain.com
好比:scrapy genspider baidu www.baidu.com

# 全局命令
startproject 建立一個scrapy項目工程
genspider 建立一個spider
runspider 運行spider文件 scrapy runspider quotes.py
version 查看版本 scrapy version -v
view 把網頁的源碼下載到本地 scrapy view http://www.baidu.com
shell 用來命令行調試 scrapy shell http://www.baidu.com
fetch 返回網站的源代碼 scrapy fetch --nolog http://www.baidu.com

#項目命令行
crawl 用來運行spider的方法 scrapy crawl quotes -o  /data/www/quote/quotes.json
check 用來檢查代碼是否有錯誤 scrapy check
list  返回項目裏面全部spider的名稱
edit  在命令行下編輯spider(vim)
bench 測試爬取速度