經過CONN_MAX_AGE優化Django的數據庫鏈接

上週對咱們用Django+Django-rest-framework提供的一套接口進行了壓力測試。壓測的過程當中，收到DBA通知——數據庫鏈接數過多，但願咱們優化下程序。具體症狀就是，若是設置mysql的最大鏈接數爲1000，壓測過程當中，很快鏈接數就會達到上限，調整上限到2000，依然如此。

Django的數據庫鏈接

Django對數據庫的連接處理是這樣的，Django程序接受到請求以後，在第一訪問數據庫的時候會建立一個數據庫鏈接,直到請求結束，關閉鏈接。下次請求也是如此。所以，這種狀況下，隨着訪問的併發數愈來愈高，就會產生大量的數據庫鏈接。也就是咱們在壓測時出現的狀況。

關於Django每次接受到請求和處理完請求時對數據庫鏈接的操做，最後會從源碼上來看看。

使用CONN_MAX_AGE減小數據庫請求

上面說了，每次請求都會建立新的數據庫鏈接，這對於高訪問量的應用來講徹底是不可接受的。所以在Django1.6時，提供了持久的數據庫鏈接，經過DATABASE配置上添加CONN_MAX_AGE來控制每一個鏈接的最大存活時間。具體使用能夠參考最後的連接。

這個參數的原理就是在每次建立完數據庫鏈接以後，把鏈接放到一個Theard.local的實例中。在request請求開始結束的時候，打算關閉鏈接時會判斷是否超過CONN_MAX_AGE設置這個有效期。這是關閉。每次進行數據庫請求的時候其實只是判斷local中有沒有已存在的鏈接，有則複用。

基於上述緣由，Django中對於CONN_MAX_AGE的使用是有些限制的，使用不當，會事得其反。由於保存的鏈接是基於線程局部變量的，所以若是你部署方式採用多線程，必需要注意保證你的最大線程數不會多餘數據庫能支持的最大鏈接數。另外，若是使用開發模式運行程序（直接runserver的方式），建議不要設置CONN_MAX_AGE，由於這種狀況下，每次請求都會建立一個Thread。同時若是你設置了CONN_MAX_AGE，將會致使你建立大量的不可複用的持久的鏈接。

CONN_MAX_AGE設置多久

CONN_MAX_AGE的時間怎麼設置主要取決於數據庫對空閒鏈接的管理，好比你的MySQL設置了空閒1分鐘就關閉鏈接，那你的CONN_MAX_AGE就不能大於一分鐘，不過DBA已經習慣了程序中的線程池的概念，會在數據庫中設置一個較大的值。

優化結果

瞭解了上述過程以後，配置了CONN_MAX_AGE參數，再次測試，終於沒有接到DBA通知，查看數據庫鏈接數，最大700多。

最好的文檔是代碼

Django的文檔上只是簡單得介紹了原理和使用方式，對於好奇的同窗來講，這個顯然是不夠的。因而我也好奇的看了下代碼，把相關的片斷貼到這裏。

首先是一次請求開始和結束時對鏈接的處理

1. #### 請求開始
2. # django.core.handlers.wsgi.py
3. class WSGIHandler(base.BaseHandler):
4. initLock = Lock()
5. request_class = WSGIRequest
7. def __call__(self, environ, start_response):
8. # ..... 省略若干代碼
9. # 觸發request_started這個Signal
10. signals.request_started.send(sender=self.__class__, environ=environ)
11. try:
12. request = self.request_class(environ)
13. except UnicodeDecodeError:
14. logger.warning('Bad Request (UnicodeDecodeError)',
15. exc_info=sys.exc_info(),
16. extra={
17. 'status_code': 400,
18. }
19. )
21. # 請求結束
23. class HttpResponseBase(six.Iterator):
24. """
25. An HTTP response base class with dictionary-accessed headers.
27. This class doesn't handle content. It should not be used directly.
28. Use the HttpResponse and StreamingHttpResponse subclasses instead.
29. """
31. def close(self):
32. for closable in self._closable_objects:
33. try:
34. closable.close()
35. except Exception:
36. pass
37. # 請求結束時觸發request_finished這個觸發器
38. signals.request_finished.send(sender=self._handler_class)

這裏只是觸發，那麼在哪對這些signal進行處理呢？

1. # django.db.__init__.py
2. from django.db.utils import ConnectionHandler
3. connections = ConnectionHandler()
5. # Register an event to reset saved queries when a Django request is started.
6. def reset_queries(**kwargs):
7. for conn in connections.all():
8. conn.queries_log.clear()
9. signals.request_started.connect(reset_queries)
11. # Register an event to reset transaction state and close connections past
12. # their lifetime.
13. def close_old_connections(**kwargs):
14. for conn in connections.all():
15. conn.close_if_unusable_or_obsolete()
16. signals.request_started.connect(close_old_connections)
17. signals.request_finished.connect(close_old_connections)

在這裏對觸發的signal進行了處理，從代碼上看，邏輯就是，遍歷全部已存在的連接，關閉不可用的鏈接。

再來看ConnectionHandler代碼:

1. class ConnectionHandler(object):
3. def __init__(self, databases=None):
4. """
5. databases is an optional dictionary of database definitions (structured
6. like settings.DATABASES).
7. """
8. # databases來自settings對數據庫的配置
9. self._databases = databases
10. self._connections = local()
12. @cached_property
13. def databases(self):
14. if self._databases is None:
15. self._databases = settings.DATABASES
16. if self._databases == {}:
17. self._databases = {
18. DEFAULT_DB_ALIAS: {
19. 'ENGINE': 'django.db.backends.dummy',
20. },
21. }
22. if DEFAULT_DB_ALIAS not in self._databases:
23. raise ImproperlyConfigured("You must define a '%s' database" % DEFAULT_DB_ALIAS)
24. return self._databases
26. def __iter__(self):
27. return iter(self.databases)
29. def all(self):
30. # 調用__iter__和__getitem__
31. return [self[alias] for alias in self]
33. def __getitem__(self, alias):
34. if hasattr(self._connections, alias):
35. return getattr(self._connections, alias)
37. self.ensure_defaults(alias)
38. self.prepare_test_settings(alias)
39. db = self.databases[alias]
40. backend = load_backend(db['ENGINE'])
41. # 關鍵在這了，這個就是conn
42. conn = backend.DatabaseWrapper(db, alias)
43. # 放到 local裏
44. setattr(self._connections, alias, conn)
45. return conn

這個代碼的關鍵就是生成對於backend的conn，而且放到local中。backend.DatabaseWrapper繼承了db.backends.init.BaseDatabaseWrapper類的 close_if_unusable_or_obsolete() 的方法，來直接看下這個方法。

1. class BaseDatabaseWrapper(object):
2. """
3. Represents a database connection.
4. """
6. def connect(self):
7. """Connects to the database. Assumes that the connection is closed."""
8. # 鏈接數據庫時讀取配置中的CONN_MAX_AGE
9. max_age = self.settings_dict['CONN_MAX_AGE']
10. self.close_at = None if max_age is None else time.time() + max_age
12. def close_if_unusable_or_obsolete(self):
13. """
14. Closes the current connection if unrecoverable errors have occurred,
15. or if it outlived its maximum age.
16. """
17. if self.connection is not None:
18. # If the application didn't restore the original autocommit setting,
19. # don't take chances, drop the connection.
20. if self.get_autocommit() != self.settings_dict['AUTOCOMMIT']:
21. self.close()
22. return
24. # If an exception other than DataError or IntegrityError occurred
25. # since the last commit / rollback, check if the connection works.
26. if self.errors_occurred:
27. if self.is_usable():
28. self.errors_occurred = False
29. else:
30. self.close()
31. return
33. if self.close_at is not None and time.time() >= self.close_at:
34. self.close()
35. return

參考

https://docs.djangoproject.com/en/1.6/ref/databases/#persistent-database-connections https://github.com/django/django/blob/master/django/core/handlers/wsgi.py#L164 https://github.com/django/django/blob/master/django/http/response.py#L310 https://github.com/django/django/blob/master/django/db/init.py#L62 https://github.com/django/django/blob/master/django/db/utils.py#L252 https://github.com/django/django/blob/master/django/db/backends/init.py#L383