Django查詢數據庫性能優化

時間  2019-11-17
標籤 django 查詢 數據庫 性能 優化 欄目 Python 简体版
原文   原文鏈接

如今有一張記錄用戶信息的UserInfo數據表,表中記錄了10個用戶的姓名,呢稱,年齡,工做等信息.html

models文件python

from django.db import models
    
    class Job(models.Model):
        title=models.CharField(max_length=32)
    
    class UserInfo(models.Model):
        username=models.CharField(max_length=32)
        nickname=models.CharField(max_length=32)
        job=models.ForeignKey(to="Job",to_field="id",null=True)

數據表中記錄:linux

另外一張數據表記錄用戶工做的Job表,關聯用戶的工做字段.golang

要查出每一個用戶的用戶名,呢稱和工做等信息數據庫

def index(request):
        user_list=models.UserInfo.objects.all()
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
    
        for user in user_list:
    
            print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    
        return render(request,'index.html')

打印信息:django

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

在服務端進行這些操做,這些查詢語句的性能是很低的,遍歷取出這10個用戶的姓名,呢稱,工做等信息要在兩張數據庫中執行11次查詢操做.後端

首先只從UserInfo表中查出全部的用戶記錄,須要執行一次查詢操做.app

查詢Job數據表,每循環一次用戶信息的列表,都須要從Job表中查詢一次用戶的工做信息.函數

數據表中總共記錄了10條用戶記錄,因此還須要循環10次才能從Job表中查詢完成全部用戶的工做信息.因此一共須要執行11次數據庫查詢操做.性能

那有沒有什麼好的方法可以提升數據庫查詢的效率呢???

def index(request):
        user_list=models.UserInfo.objects.values("username","nickname","job")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print(user["username"], user["nickname"], user["job"])
    
        return render(request,'index.html')

運行程序,在服務端後臺打印信息:

SELECT "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [{'username': 'user1', 'nickname': 'user1', 'job': 1}, {'username': 'user2', 'nickname': 'user2', 'job': 2}, {'username': 'user3', 'nickname': 'user3', 'job': 3}, {'username': 'user4', 'nickname': 'user4', 'job': 1}, {'username': 'user5', 'nickname': 'user5', 'job': 2}, {'username': 'user6', 'nickname': 'user6', 'job': 3}, {'username': 'user7', 'nickname': 'user7', 'job': 1}, {'username': 'user8', 'nickname': 'user8', 'job': 2}, {'username': 'user9', 'nickname': 'user9', 'job': 3}, {'username': 'user10', 'nickname': 'user10', 'job': 2}]>
user1 user1 1
user2 user2 2
user3 user3 3
user4 user4 1
user5 user5 2
user6 user6 3
user7 user7 1
user8 user8 2
user9 user9 3
user10 user10 2

能夠看到,查詢的結果user_list依然是一個QuerySet,但這個對象集合內部倒是一個字典.

並且此次的查詢只執行了兩次數據庫查詢操做.

經過這種方式,只須要兩次查詢就能獲得想要的數據,優化了數據庫的查詢效率.

Django數據庫優化操做之select_related主動聯表查詢

上面的例子裏,取對象集合的時候,難道只能查詢當前數據表,不能查詢其餘數據表嗎??

固然不是,在這裏還可使用select_related這個方法.

在第一次查詢的時候,在all()後面加上一個select_related來作主動的聯表查詢.

在建立這兩張數據表時,job在UserInfo數據表中是作爲一個ForeignKey存在的,因此加上select_related後不只只查詢到了UserInfo數據庫的記錄,同時也查詢了Job數據表中的記錄.

def index(request):
        user_list=models.UserInfo.objects.all().select_related("job")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    
        return render(request,'index.html')

服務端打印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id", "app01_job"."id", "app01_job"."title" FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

查看打印出來的查詢語句,其中有"FROM "app01_userinfo" LEFT OUTER JOIN "app01_job" ON ("app01_userinfo"."job_id" = "app01_job"."id")"用來作聯表查詢,只須要一次就能夠查詢全部的數據了.

一樣的,若是還想繼續聯表,例如在Job表中再加一個外鍵字段desc,只須要在查詢語句中把desc加入進來就能夠了

user_list=models.UserInfo.objects.all().select_related("job__desc")

這樣一來就把三張表聯繫起來作聯表查詢了,可是必定要確保所加的字段爲ForeignKey.

若是使用相似models.UserInfo.objects.all()語句進行查詢時,不要作跨表查詢,只查詢當前表中有的數據,不然查詢語句的性能會降低不少.

若是想查其餘表中的數據,就加上select_related(ForeignKey字段名);

若是想取多個ForeignKey字段的數據,則可使用select_related(ForeignKey字段1,ForeignKey字段2,...)

聯表查詢操做性能也會下降,select_related就是用來作主動聯表查詢的.

Django數據庫優化操做之perfetch_related非主動聯表查詢

perfetch_related方法是既非主動聯表查詢,又不進行不少查詢語句的一種折衷方案

修改視圖函數index

def index(request):
    
        user_list=models.UserInfo.objects.all().prefetch_related("job")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print("%s-->%s-->%s" %(user.username,user.nickname,user.job.title))
    
        return render(request,'index.html')

後端打印結果

SELECT "app01_userinfo"."id", "app01_userinfo"."username", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1-->python
user2-->user2-->linux
user3-->user3-->golang
user4-->user4-->python
user5-->user5-->linux
user6-->user6-->golang
user7-->user7-->python
user8-->user8-->linux
user9-->user9-->golang
user10-->user10-->linux

使用prefetch_related方法未聯表執行兩次查詢操做

先查詢用戶表中的全部數據,把用戶表中全部的job_id所有查詢出來,並執行去重操做;

結果查詢出用戶的3種工做,接下來執行"select"語句查詢"Job"數據表中的"title"字段

這樣一來就只執行了兩次數據表的查詢操做

在prefetch_related方法中加入一個字段"job",執行了兩次數據庫查詢操做;

若是再加一個字段,則會再多加一次數據爲操做操做.

Django數據庫優化操做之only方法

def index(request):
        user_list=models.UserInfo.objects.all().only("username")
    
        print(user_list.query)      # 打印查詢時使用的語句
        print(type(user_list))      # 打印查詢結果的數據類型
        print("user_list:",user_list)
    
        for user in user_list:
    
            print("%s-->%s" %(user.username,user.nickname))
    
        return render(request,'index.html')

服務端後臺打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."username" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1-->user1
user2-->user2
user3-->user3
user4-->user4
user5-->user5
user6-->user6
user7-->user7
user8-->user8
user9-->user9
user10-->user10

執行查詢操做的時候加上only方法,其查詢結果仍是一個對象集合,可是從打印出的查詢語句能夠看到,執行查詢操做時只查詢了用戶的id字段和username字段,並無查詢nickname字段.

可是在後面的循環中,又能夠打印用戶的nikename信息.爲何呢,由於又執行了一次查詢的請求操做.由此得知,查詢操做使用了only方法,在only方法中加入哪一個查詢字段,在後面就使用哪一個查詢字段.

加only參數是從查詢結果中只取某個字段,而另一個defer方法則是從查詢結果中排除某個字段

Django數據庫優化操做之defer方法

修改index視圖函數

def index(request):
    user_list=models.UserInfo.objects.all().defer("username")

    print(user_list.query)      # 打印查詢時使用的語句
    print(type(user_list))      # 打印查詢結果的數據類型
    print("user_list:",user_list)

    for user in user_list:

        print("%s" % user.nickname)

    return render(request,'index.html')

服務端打印信息

SELECT "app01_userinfo"."id", "app01_userinfo"."nickname", "app01_userinfo"."job_id" FROM "app01_userinfo"
<class 'django.db.models.query.QuerySet'>
user_list: <QuerySet [<UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>, <UserInfo: UserInfo object>]>
user1
user2
user3
user4
user5
user6
user7
user8
user9
user10

經過打印的查詢語句能夠知道,使用defer方法後,只從數據庫中查詢了用戶的id字段和用戶的nickname字段操做,並無查詢username字段,由此也能夠提升Django查詢數據庫的性能.

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程