數據庫鏈接池(DBUtils)

DButils是python的一個實現數據庫鏈接池的模塊

　　兩種模式：

　　1.爲每個線程建立一個連接，即便線程即便調用了close()方法，也不會關閉，只是把線程放到鏈接池，供本身再次使用，當鏈接關閉時，線程鏈接自動關閉。

from DBUtils.PersistentDB import PersistentDB
import pymysql
PooL = PersistentDB(
    creator = pymysql,  #使用連接數據庫的模塊
    maxusage = None, #一個連接最多被使用的次數，None表示無限制
    setsession = [], #開始會話前執行的命令
    ping = 0, #ping MySQL服務端,檢查服務是否可用
    closeable = False, #conn.close()實際上被忽略，供下次使用，直到線程關閉，自動關閉連接，而等於True時，conn.close()真的被關閉
    threadlocal = None, # 本線程獨享值的對象，用於保存連接對象
    host = '127.0.0.1',
    port = 3306,
    user = 'root',
    password = 'xxx',
    database = 'xxx',
    charset = 'utf8'
)
def func():
    conn = PooL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from book')
    result = cursor.fetchall()
    print(result)
    cursor.close()
    conn.close()
import threading
for i in range(5):
    t = threading.Thread(target=func)
    t.start()

2.建立一批鏈接到鏈接池，供全部線程共享使用

　　注意：因爲pymysql,mysqlDB中的threadsafety值爲1，全部線程共享鏈接

import time
import pymysql
import threading
from DBUtils.PooledDB import PooledDB,SharedDBConnection

POOL = PooledDB(
    creator = pymysql, #使用連接數據庫的模塊
    maxconnections = 6,  #鏈接池容許的最大鏈接數，0和None表示沒有限制
    mincached = 2, #初始化時，鏈接池至少建立的空閒的鏈接，0表示不建立
    maxcached = 5, #鏈接池空閒的最多鏈接數，0和None表示沒有限制
    maxshared = 3, #鏈接池中最多共享的鏈接數量，0和None表示所有共享，ps:其實並無什麼用，由於pymsql和MySQLDB等模塊中的threadsafety都爲1，全部值不管設置多少，_maxcahed永遠爲0，因此永遠是全部連接共享
    blocking = True, #連接池中若是沒有可用共享鏈接後，是否阻塞等待，True表示等待，False表示不等待而後報錯
    setsession = [],#開始會話前執行的命令列表
    ping = 0,#ping Mysql 服務端，檢查服務是否可用
    host = '127.0.0.1',
    port = 3306,
    user = 'root',
    password = 'xxx',
    database = 'xxx',
    charset = 'utf8'
)
def func():
    #檢測當前正在運行的鏈接數是否小於最大的鏈接數，若是不小於則等待鏈接或者拋出raise TooManyConnections異常
    #不然優先去初始化時建立的鏈接中獲取鏈接SteadyDBConnection
    #而後將SteadyDBConnection對象封裝到PooledDedicatedDBConnection中並返回
    #若是最開始建立的鏈接沒有連接，則去建立SteadyDBConnection對象，再封裝到PooledDedicatedDBConnection中並返回
    #一旦關閉連接後，鏈接就返回到鏈接池讓後續線程繼續使用
    conn = POOL.connection()
    cursor = conn.cursor()
    cursor.execute('select * from book')
    result = cursor.fetchall()
    print(result)
    conn.close()
func()

PS：關於pymysql模塊，若是沒有單線程的狀況，鏈接MySQL數據庫沒有問題，但若是要是多線程，就須要加鎖，一旦加鎖，後面的線程就得等待，勢必會下降使用效率。

加鎖
import pymysql
import threading
from threading import RLock
LOCK = RLock()
CONN = pymysql.connect(host='127.0.0.1',
                       port = 3306,
                       user = 'root',
                       password = 'xxx',
                       database = 'xxx',
                       charset = 'utf8'
                       )
def task(arg):
    with LOCK:
        cursor = CONN.cursor()
        cursor.execute('select * from book')
        result = cursor.fetchall()
        cursor.close()
        print(result)
for i in range(10):
    t = threading.Thread(target=task,args=(i,))
    t.start()

不加鎖
import pymysql
import threading
CONN = pymysql.connect(host='127.0.0.1',
                       port=3306,
                       user='root',
                       password='xxx',
                       database='ok1',
                       charset='utf8')

def task(arg):
    cursor = CONN.cursor()
    cursor.execute('select * from book')
    result = cursor.fetchall()
    cursor.close()
    print(result)
for i in range(10):  #1時不會報錯
    t = threading.Thread(target=task, args=(i,))
    t.start()

 

自定義helper,使用模式2鏈接池操做數據庫

import pymysql


def connect():
    conn = POOL.connection()
    cursor = conn.cursor(cursor=pymysql.cursors.DictCursor)           # 結果爲字典
    return conn,cursor

def connect_close(conn,cursor):
    cursor.close()
    conn.close()

def fetch_all(sql,args):
    conn,cursor = connect()

    cursor.execute(sql, args)
    record_list = cursor.fetchall()
    connect_close(conn,cursor)

    return record_list

def fetch_one(sql, args):
    conn, cursor = connect()
    cursor.execute(sql, args)
    result = cursor.fetchone()
    connect_close(conn, cursor)

    return result

def insert(sql, args):
    conn, cursor = connect()
    row = cursor.execute(sql, args)
    conn.commit()
    connect_close(conn, cursor)
    return row