centos7下python3安裝且使用scrapy

1.環境前提條件:安裝而且配置好python3,配置好pip3,sqlite3能夠使用.

能夠查看centos7安裝python3:http://www.javashuo.com/article/p-ebgrpsob-hz.html

2.使用pip3安裝scrapy

pip3 install scrapy

3.配置scrapy全局能夠訪問,刪除掉已經有的scrapy(若是有)

rm -rf /usr/bin/scrapy

ln /usr/local/python3/bin/scrapy /usr/bin/scrapy

4.建立一個scrapy工程,測試目錄:/data/www/

cd /data/www/

scrapy startproject quote

5.建立一個spider

cd /data/www/quote

scrapy genspider quotes quotes.toscrape.com

6.定義item

cd /data/www/quote/quote

vim items.py

保存退出!

7.編寫spider

cd /data/www/quote/quote/spiders

vim quotes.py

保存退出!

7.運行scrapy

cd /data/www/quote

scrapy crawl quotes -o /data/www/quote/quotes.json

8.到此初步使用完畢!