scrapy的簡單使用

使用以前的建立虛擬環境方法（pipenv）

建立虛擬環境並進入虛擬環境

mkdir douban 
cd douban
pipenv install
pipenv shell

再安裝咱們的scrapy

pipenv install scrapy

而後建立項目

scrapy startproject doubanmovie
cd doubanmovie
scrapy genspider douban_movie （這裏加入你想要爬的網站url）

再使用pychram打開這個目錄

寫好代碼後在pycharm下方點擊終端輸入

scrapy crawl douban_movie
scrapy crawl douban_movie -o detail.json #爲json格式保存
scrapy crawl douban_movie -o detail.jl #以行的形式保存
scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
scrapy crawl douban_movie -o detail.xml #以xml文件格式保存

運行任務

簡單使用結束