scrapy數據存儲在mysql數據庫的兩種方式

方法一：同步操做

1.pipelines.py文件（處理數據的python文件）

import pymysql class LvyouPipeline(object): def __init__(self): # connection database
        self.connect = pymysql.connect(host='XXX', user='root', passwd='XXX', db='scrapy_test')  # 後面三個依次是數據庫鏈接名、數據庫密碼、數據庫名稱
        # get cursor
        self.cursor = self.connect.cursor() print("鏈接數據庫成功") def process_item(self, item, spider): # sql語句
        insert_sql = """ insert into lvyou(name1, address, grade, score, price) VALUES (%s,%s,%s,%s,%s) """
        # 執行插入數據到數據庫操做
        self.cursor.execute(insert_sql, (item['Name'], item['Address'], item['Grade'], item['Score'], item['Price'])) # 提交，不進行提交沒法保存到數據庫
 self.connect.commit() def close_spider(self, spider): # 關閉遊標和鏈接
 self.cursor.close() self.connect.close() 

2.配置文件中

方式二 異步儲存

pipelines.py文件：

經過twisted實現數據庫異步插入，twisted模塊提供了 twisted.enterprise.adbapi

　　1. 導入adbapi

　　2. 生成數據庫鏈接池

　　3. 執行數據數據庫插入操做

　　4. 打印錯誤信息，並排錯

 

import pymysql from twisted.enterprise import adbapi # 異步更新操做
class LvyouPipeline(object): def __init__(self, dbpool): self.dbpool = dbpool @classmethod def from_settings(cls, settings):  # 函數名固定，會被scrapy調用，直接可用settings的值
        """ 數據庫創建鏈接 :param settings: 配置參數 :return: 實例化參數 """ adbparams = dict( host=settings['MYSQL_HOST'], db=settings['MYSQL_DBNAME'], user=settings['MYSQL_USER'], password=settings['MYSQL_PASSWORD'], cursorclass=pymysql.cursors.DictCursor   # 指定cursor類型
 ) # 鏈接數據池ConnectionPool，使用pymysql或者Mysqldb鏈接
        dbpool = adbapi.ConnectionPool('pymysql', **adbparams) # 返回實例化參數
        return cls(dbpool) def process_item(self, item, spider): """ 使用twisted將MySQL插入變成異步執行。經過鏈接池執行具體的sql操做，返回一個對象 """ query = self.dbpool.runInteraction(self.do_insert, item)  # 指定操做方法和操做數據
        # 添加異常處理
        query.addCallback(self.handle_error)  # 處理異常
 
    def do_insert(self, cursor, item): # 對數據庫進行插入操做，並不須要commit，twisted會自動commit
        insert_sql = """ insert into lvyou(name1, address, grade, score, price) VALUES (%s,%s,%s,%s,%s) """ self.cursor.execute(insert_sql, (item['Name'], item['Address'], item['Grade'], item['Score'], item['Price'])) def handle_error(self, failure): if failure: # 打印錯誤信息
            print(failure) 

注意：

一、python 3.x 再也不支持MySQLdb，它在py3的替代品是： import pymysql。

二、報錯pymysql.err.ProgrammingError: (1064, ……

緣由：當item['quotes']裏面含有引號時，可能會報上述錯誤

解決辦法：使用pymysql.escape_string()方法

例如：

sql = """INSERT INTO video_info(video_id, title) VALUES("%s","%s")""" % (video_info["id"],pymysql.escape_string(video_info["title"]))
三、存在中文的時候，鏈接須要添加charset='utf8'，不然中文顯示亂碼。

四、每執行一次爬蟲，就會將數據追加到數據庫中，若是屢次的測試爬蟲，就會致使相同的數據不斷累積，怎麼實現增量爬取？

scrapy-deltafetch
scrapy-crawl-once（與1不一樣的是存儲的數據庫不一樣）
scrapy-redis
scrapy-redis-bloomfilter(3的加強版，存儲更多的url,查詢更快)

原文：https://blog.csdn.net/weixin_40096730/article/details/87863797