Scrapy 爬取豆瓣電影存入mysql

1.新建項目  scrapy startproject  boat

2. cd  進入 boat項目工程,建立爬蟲  scrapy genspider -t basic  doubanmovies  douban.com

3.編寫doubanmovies.py  爬蟲文件

4.編寫items.py

5.編寫pipelines.py

6.編寫settings.py

7.運行爬蟲：scrapy  crawl  doubanmovies

若是使用的 是Python3.X請先安裝 pymysql

項目中操做數據庫若是想要使用mysqldb模塊，直接在_init_.py中添加

便可使用。。。