Django數據庫鏈接丟失問題

問題

在Django中使用mysql偶爾會出現數據庫鏈接丟失的狀況，錯誤一般有以下兩種

1. `OperationalError: (2006, 'MySQL server has gone away')`  
1. `OperationalError: (2013, 'Lost connection to MySQL server during query')`

查詢mysql全局變量SHOW GLOBAL VARIABLES;能夠看到wait_timeout，此變量表示鏈接空閒時間。若是客戶端使用一個鏈接查詢屢次數據庫，若是連續查詢則沒有問題，若是查詢幾回後停頓超過wait_timeout後再次查詢就會出現數據庫鏈接丟失。

復現

下面用Django復現下次問題：

1. 將mysql的wait_timeout設置爲10秒，而後進入django shell模擬查詢（如下錯誤信息只保留了部分）

In[1]：import time
In[2]：from django.contrib.auth.models import User
In[3]：list(User.objects.filter(id=1))
Out[3]：[<User: admin>]
In[4]：time.sleep(15) # 模擬比較慢的代碼（其中沒有查詢數據庫的代碼），或者空閒什麼都不操做一段時間，此時間要比`wait_timeout`大一些
list(User.objects.filter(id=1))
Traceback (most recent call last):

  File "<ipython-input-4-3574ae8220ee>", line 1, in <module>
    list(User.objects.filter(id=1))

  File "/usr/lib/python3.6/site-packages/pymysql/connections.py", line 1037, in _read_bytes
    CR.CR_SERVER_LOST, "Lost connection to MySQL server during query")
django.db.utils.OperationalError: (2013, 'Lost connection to MySQL server during query')

尋求

那麼以上問題就基本說明了是空閒時間過長致使的錯誤。
django爲了減小沒必要要的數據庫鏈接、關閉，複用了數據庫鏈接，當開始一個請求後創建一個鏈接池存放鏈接，以後這次請求都複用一個鏈接。那猜想就是django保存鏈接的比wait_timeout長了，若是保存時間短一些就能夠從新創建鏈接避免此錯誤了。
沒錯，官方文檔也已經說明了此問題，設置數據庫 CONN_MAX_AGE參數，示例：

DATABASES = {
    "default": {
            'ENGINE': 'django.db.backends.mysql',
            'NAME': '',
            'USER': '',
            'PASSWORD': '',
            'HOST': '',
            'CONN_MAX_AGE': 9  # 比wait_timeout小一些
    }
}

當咱們測試後卻發現，事情並不是想一想中那麼簡單。爲什麼錯誤依舊出現？這一切的背後， 是人性的扭曲仍是道德的淪喪?敬請收看下節《突破》。

突破

對django源碼中CONN_MAX_AGE進行了一番搜索，順藤摸瓜發現了django關閉失效鏈接的方法django.db.close_old_connections()：

# Register an event to reset transaction state and close connections past
# their lifetime.
def close_old_connections(**kwargs):
    for conn in connections.all():
        conn.close_if_unusable_or_obsolete()

signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)

重點在最後兩行，經過signal實現特定事件時執行此方法，兩個特定事件顧名思義是請求開始和請求結束。而咱們報錯的是在一次請求中，因此此法一般無效，僅僅是實現每一個請求關閉並從新創建鏈接。

解決

復現問題的django shell不要關閉，繼續執行以下代碼：

In[5]：from django.db import close_old_connections
In[6]：close_old_connections()
In[7]：list(User.objects.filter(id=1))
Out[7]: [<User: admin>]

調用django.db.close_old_connections後再次查詢就沒有錯誤了。
那麼咱們要避免此錯誤就要執行每一個數據庫查詢前調用django.db.close_old_connections方法。

1. 通常狀況不會出現此類問題，由於一個請求中不間斷進行數據庫查詢，無需每一個請求調用此方法，杞人憂天。
2. 有時候一個請求中數據量較大，會查詢數據庫後進行一段時間其餘（不涉及數據庫）處理，好比先查詢一些數據，而後將數據處理、生成excel、保存文件並生成url。已知此過長鬚要很是長時間，那麼最終url保存數據庫就最好先調用django.db.close_old_connections防止鏈接丟失

題外話
實際上②所述狀況最好從根本上解決處理慢的問題，也能夠換做異步處理，從根本上解決問題。