python3 實現mysql數據庫鏈接池

首先聲明一下，這篇博客進行了經過本身的代碼方式，加上這篇博客，最後總結出這段代碼。參考博客鏈接：http://blog.csdn.net/zbc1090549839/article/details/51336458

 

原理

python編程中可使用MySQLdb進行數據庫的鏈接及諸如查詢/插入/更新等操做，可是每次鏈接mysql數據庫請求時，都是獨立的去請求訪問，至關浪費資源，

並且訪問數量達到必定數量時，對mysql的性能會產生較大的影響。

所以，實際使用中，一般會使用數據庫的鏈接池技術，來訪問數據庫達到資源複用的目的。

 

安裝數據庫鏈接池模塊DBUtils

 

pip3 install DBUtils

 

DBUtils是一套Python數據庫鏈接池包，並容許對非線程安全的數據庫接口進行線程安全包裝。DBUtils來自Webware for Python。

DBUtils提供兩種外部接口：

• * PersistentDB ：提供線程專用的數據庫鏈接，並自動管理鏈接。
• * PooledDB ：提供線程間可共享的數據庫鏈接，並自動管理鏈接。

下載地址：DBUtils   下載解壓後，使用python setup.py install 命令進行安裝

下面利用MySQLdb和DBUtils創建本身的mysql數據庫鏈接池工具包

在工程目錄下新建package命名爲:dbConnecttion，並新建module命名爲MySqlConn，下面是MySqlConn.py，該模塊建立Mysql的鏈接池對象，並建立了如查詢/插入等通用的操做方法。該部分代碼實現以下：

 

還有不少其餘參數能夠配置：

    dbapi ：數據庫接口
    mincached ：啓動時開啓的空鏈接數量
    maxcached ：鏈接池最大可用鏈接數量
    maxshared ：鏈接池最大可共享鏈接數量
    maxconnections ：最大容許鏈接數量
    blocking ：達到最大數量時是否阻塞
    maxusage ：單個鏈接最大複用次數

根據本身的須要合理配置上述的資源參數，以知足本身的實際須要。

 

代碼：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import pymysql, os, configparser
from pymysql.cursors import DictCursor
from DBUtils.PooledDB import PooledDB


class Config(object):
    """
    # Config().get_content("user_information")

    配置文件裏面的參數
    [notdbMysql]
    host = 192.168.1.101
    port = 3306
    user = root
    password = python123
    """

    def __init__(self, config_filename="myProjectConfig.cnf"):
        file_path = os.path.join(os.path.dirname(__file__), config_filename)
        self.cf = configparser.ConfigParser()
        self.cf.read(file_path)

    def get_sections(self):
        return self.cf.sections()

    def get_options(self, section):
        return self.cf.options(section)

    def get_content(self, section):
        result = {}
        for option in self.get_options(section):
            value = self.cf.get(section, option)
            result[option] = int(value) if value.isdigit() else value
        return result


class BasePymysqlPool(object):
    def __init__(self, host, port, user, password, db_name=None):
        self.db_host = host
        self.db_port = int(port)
        self.user = user
        self.password = str(password)
        self.db = db_name
        self.conn = None
        self.cursor = None


class MyPymysqlPool(BasePymysqlPool):
    """
    MYSQL數據庫對象，負責產生數據庫鏈接 , 此類中的鏈接採用鏈接池實現獲取鏈接對象：conn = Mysql.getConn()
            釋放鏈接對象;conn.close()或del conn
    """
    # 鏈接池對象
    __pool = None

    def __init__(self, conf_name=None):
        self.conf = Config().get_content(conf_name)
        super(MyPymysqlPool, self).__init__(**self.conf)
        # 數據庫構造函數，從鏈接池中取出鏈接，並生成操做遊標
        self._conn = self.__getConn()
        self._cursor = self._conn.cursor()

    def __getConn(self):
        """
        @summary: 靜態方法，從鏈接池中取出鏈接
        @return MySQLdb.connection
        """
        if MyPymysqlPool.__pool is None:
            __pool = PooledDB(creator=pymysql,
                              mincached=1,
                              maxcached=20,
                              host=self.db_host,
                              port=self.db_port,
                              user=self.user,
                              passwd=self.password,
                              db=self.db,
                              use_unicode=False,
                              charset="utf8",
                              cursorclass=DictCursor)
        return __pool.connection()

    def getAll(self, sql, param=None):
        """
        @summary: 執行查詢，並取出全部結果集
        @param sql:查詢ＳＱＬ，若是有查詢條件，請只指定條件列表，並將條件值使用參數[param]傳遞進來
        @param param: 可選參數，條件列表值（元組/列表）
        @return: result list(字典對象)/boolean 查詢到的結果集
        """
        if param is None:
            count = self._cursor.execute(sql)
        else:
            count = self._cursor.execute(sql, param)
        if count > 0:
            result = self._cursor.fetchall()
        else:
            result = False
        return result

    def getOne(self, sql, param=None):
        """
        @summary: 執行查詢，並取出第一條
        @param sql:查詢ＳＱＬ，若是有查詢條件，請只指定條件列表，並將條件值使用參數[param]傳遞進來
        @param param: 可選參數，條件列表值（元組/列表）
        @return: result list/boolean 查詢到的結果集
        """
        if param is None:
            count = self._cursor.execute(sql)
        else:
            count = self._cursor.execute(sql, param)
        if count > 0:
            result = self._cursor.fetchone()
        else:
            result = False
        return result

    def getMany(self, sql, num, param=None):
        """
        @summary: 執行查詢，並取出num條結果
        @param sql:查詢ＳＱＬ，若是有查詢條件，請只指定條件列表，並將條件值使用參數[param]傳遞進來
        @param num:取得的結果條數
        @param param: 可選參數，條件列表值（元組/列表）
        @return: result list/boolean 查詢到的結果集
        """
        if param is None:
            count = self._cursor.execute(sql)
        else:
            count = self._cursor.execute(sql, param)
        if count > 0:
            result = self._cursor.fetchmany(num)
        else:
            result = False
        return result

    def insertMany(self, sql, values):
        """
        @summary: 向數據表插入多條記錄
        @param sql:要插入的ＳＱＬ格式
        @param values:要插入的記錄數據tuple(tuple)/list[list]
        @return: count 受影響的行數
        """
        count = self._cursor.executemany(sql, values)
        return count

    def __query(self, sql, param=None):
        if param is None:
            count = self._cursor.execute(sql)
        else:
            count = self._cursor.execute(sql, param)
        return count

    def update(self, sql, param=None):
        """
        @summary: 更新數據表記錄
        @param sql: ＳＱＬ格式及條件，使用(%s,%s)
        @param param: 要更新的  值 tuple/list
        @return: count 受影響的行數
        """
        return self.__query(sql, param)

    def insert(self, sql, param=None):
        """
        @summary: 更新數據表記錄
        @param sql: ＳＱＬ格式及條件，使用(%s,%s)
        @param param: 要更新的  值 tuple/list
        @return: count 受影響的行數
        """
        return self.__query(sql, param)

    def delete(self, sql, param=None):
        """
        @summary: 刪除數據表記錄
        @param sql: ＳＱＬ格式及條件，使用(%s,%s)
        @param param: 要刪除的條件 值 tuple/list
        @return: count 受影響的行數
        """
        return self.__query(sql, param)

    def begin(self):
        """
        @summary: 開啓事務
        """
        self._conn.autocommit(0)

    def end(self, option='commit'):
        """
        @summary: 結束事務
        """
        if option == 'commit':
            self._conn.commit()
        else:
            self._conn.rollback()

    def dispose(self, isEnd=1):
        """
        @summary: 釋放鏈接池資源
        """
        if isEnd == 1:
            self.end('commit')
        else:
            self.end('rollback')
        self._cursor.close()
        self._conn.close()


if __name__ == '__main__':
    mysql = MyPymysqlPool("notdbMysql")

    sqlAll = "select * from myTest.aa;"
    result = mysql.getAll(sqlAll)
    print(result)

    sqlAll = "select * from myTest.aa;"
    result = mysql.getMany(sqlAll, 2)
    print(result)

    result = mysql.getOne(sqlAll)
    print(result)

    # mysql.insert("insert into myTest.aa set a=%s", (1))

    # 釋放資源
    mysql.dispose()