aggregate
(*args, **kwargs)python
aggregate()
是QuerySet
的一個終止子句,意思是說,它返回一個包含一些鍵值對的字典。鍵的名稱是聚合值的標識符,值是計算出來的聚合值。鍵的名稱是按照字段和聚合函數的名稱自動生成出來的。若是你想要爲聚合值指定一個名稱,能夠向聚合子句提供它。用到的內置函數:mysql
from django.db.models import Avg, Sum, Max, Min, Count
示例:linux
res = models.Book.objects.all().aggregate(Avg('price'))#平均值 res1 = models.Book.objects.all().aggregate(Max('price'))#最大值 res2 = models.Book.objects.all().aggregate(Min('price'))#最小值 res3 = models.Book.objects.all().aggregate(Sum('price'))#求和 res4 = models.Book.objects.all().aggregate(Count('title'))#求總數,個數
根據最大值求其餘的字段 res = models.Book.objects.all().aggregate(Max('price')) print(res,type(res)) print(res.get('price__max'),type(res.get('price__max'))) res = models.Book.objects.filter(price=res.get('price__max')) print(res.first().title)
若是你想要爲聚合值指定一個名稱,能夠向聚合子句提供它。sql
res = models.Book.objects.all().aggregate(Min('price'),Max('price'),Count('price'),sum=Sum('price'),ave=Avg('price')) #給定名稱的結果先輸出 {'sum': Decimal('810.44'), 'ave': 162.088, 'price__min': Decimal('10.22'), 'price__max': Decimal('250.00'), 'price__count': 5}
若是你但願生成不止一個聚合,你能夠向aggregate()
子句中添加另外一個參數。因此,若是你也想知道全部圖書價格的最大值和最小值,能夠這樣查詢:數據庫
res5 = models.Book.objects.all().aggregate(Avg('price'),Max('price'),Min('price'),Sum('price'),Count('title'))
annotate()爲調用的QuerySet
中每個對象都生成一個獨立的統計值(統計方法用聚合函數)。能夠跨表查詢,使用雙下劃線方法。django
總結 :跨表分組查詢本質就是將關聯表join成一張表,再按單表的思路進行分組查詢。 分組循環涉及到安全問題,所以有些查詢須要設置非安全模式。json
我這裏是將mysql中的mode,註釋就好了。安全
#sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
練習1:統計每一本書做者個數app
from django.db.models import Avg, Max, Sum, Min, Max, Count res=models.Book.objects.annotate(author_num=Count('author')).values('author_num') res1=models.Book.objects.all().annotate(author_num=Count('author')).values('author_num') print(res) print(res1) ################################################################### < QuerySet[{'author_num': 3}, {'author_num': 1}, {'author_num': 0},{'author_num': 0}, {'author_num': 0}] > < QuerySet[{'author_num': 3}, {'author_num': 1}, {'author_num': 0}, {'author_num': 0}, {'author_num': 0}] > ################################################################ book_list = models.Book.objects.all().annotate(author_num = Count('author')) print(book_list) for book_obj in book_list: print(book_obj.title) ################################################################ <QuerySet [<Book: linux>, <Book: math>, <Book: python>, <Book: english>, <Book: english>]> linux math python english english ################################################################ book_list=models.Book.objects.all().annotate(author_num=Count('author')).values('title','author_num') print(book_list) ################################################################ <QuerySet [{'title': 'linux', 'author_num': 3}, {'title': 'math', 'author_num': 1}, {'title': 'python', 'author_num': 0}, {'title': 'english', 'author_num': 0}, {'title': 'english', 'author_num': 0}]>
練習2:統計每個出版社的最便宜的書的價格,dom
publish=models.Publish.objects.all().annotate(book_price=Min('book__price')).values("name",'book_price') print(publish) ################################################################ <QuerySet [{'name': '北極出版社', 'book_price': Decimal('10.22')}, {'name': '南極出版社', 'book_price': Decimal('100.22')}]> ################################################################ book_min = models.Book.objects.values('publish__name').annotate(book_min = Min('price')) print(book_min) ################################################################ <QuerySet [{'publish__name': '北極出版社', 'book_min': Decimal('10.22')}, {'publish__name': '南極出版社', 'book_min': Decimal('100.22')}]>
annotate的返回值是querySet,若是不想遍歷對象,能夠用上valuelist:返回列表套元組
book_min=models.Publish.objects.all().annotate(book_price=Min('book__price')).values_list("name",'book_price') print(book_min) ################################################################ <QuerySet [('北極出版社', Decimal('10.22')), ('南極出版社', Decimal('100.22'))]>
練習3:統計不止一個做者的圖書:(做者數量大於一)
res = models.Book.objects.all().annotate(author_count = Count('author')).filter(author_count__gt=1).values('title','author_count') print(res) ################################################################ <QuerySet [{'title': 'linux', 'author_count': 3}]>
練習4:統計每一本以py開頭的書籍的做者個數:
book_queryresult = models.Book.objects.filter(title__startswith='m').annotate(author_count=Count('author')).values('title','author__name','author_count') print(book_queryresult) ################################################################ <QuerySet [{'title': 'math', 'author__name': 'sky', 'author_count': 2}]>
練習5:根據一本圖書做者數量的多少對查詢集 QuerySet
進行排序:
res = models.Book.objects.all().annotate(author_count = Count('author')).order_by('author_count').values('title','author_count') print(res) ################################################################ <QuerySet [{'title': 'english', 'author_count': 0}, {'title': 'english', 'author_count': 0}, {'title': 'python', 'author_count': 0}, {'title': 'math', 'author_count': 2}, {'title': 'linux', 'author_count': 3}]>
練習6:查詢各個做者出的書的總價格:
res = models.Author.objects.all().annotate(book_price = Sum('book__price')).values_list('name','book_price') print(res) ################################################################ <QuerySet [('ocean', Decimal('10.22')), ('sky', Decimal('110.44')), ('rock', Decimal('110.44')), ('json', None)]>
練習7:查詢每一個出版社的名稱和書籍個數
res = models.Publish.objects.all().annotate(book_count =Count('book')).values('name','book_count') print(res) ################################################################ <QuerySet [{'name': '北極出版社', 'book_count': 1}, {'name': '南極出版社', 'book_count': 4}]>
value裏面的參數對應的是sql語句中的select要查找顯示的字段,
filter裏面的參數至關於where或者having裏面的篩選條件
annotate自己表示group by的做用,前面找尋分組依據,內部放置顯示可能用到的聚合運算式,後面跟filter來增長限制條件,最後的value來表示分組後想要查找的字段值
from django.db.models import F,Q
在上面全部的例子中,咱們構造的過濾器都只是將字段值與某個常量作比較。若是咱們要對兩個字段的值作比較,那該怎麼作呢?
Django 提供 F() 來作這樣的比較。F() 的實例能夠在查詢中引用字段,來比較同一個 model 實例中兩個不一樣字段的值。
示例1:
查詢出賣出數大於庫存數的商品
res = models.Book.objects.filter(maichu__gt=F('kucun')) print(res) ################################################################ <QuerySet [<Book: math>, <Book: english>, <Book: english>]>
F能夠幫咱們取到表中某個字段對應的值來看成個人篩選條件,而不是我認爲自定義常量的條件了,實現了動態比較的效果
Django 支持 F() 對象之間以及 F() 對象和常數之間的加減乘除和取模的操做。基於此能夠對錶中的數值類型進行數學運算
示例2:
將每一個商品的價格提升50塊
res = models.Book.objects.update(price=F('price')+100) print(res) ################################# 5 返回更新的數量
引伸:
若是要修改char字段咋辦(千萬不能用上面對數值類型的操做!!!)?
如:把全部書名後面加上'新款',(這個時候須要對字符串進行拼接Concat操做,而且要加上拼接值Value)
from django.db.models.functions import Concat from django.db.models import Value models.Book.objects.filter(pk=2).update(title=Concat(F('title'),Value('新款')))
Concat表示進行字符串的拼接操做,參數位置決定了拼接是在頭部拼接仍是尾部拼接,Value裏面是要新增的拼接值
filter()
等方法中的關鍵字參數查詢都是一塊兒進行「AND」 的。 若是你須要執行更復雜的查詢(例如OR
語句),你可使用Q 對象
。
示例1:
查詢 賣出數大於100 或者 價格小於100塊的
from django.db.models import Q res=models.Book.objects.filter(Q(maichu__gt=100)|Q(price__lt=100)) print(res) ############################################## <QuerySet [<Book: math新款>, <Book: python>, <Book: english>]>
對條件包裹一層Q時候,filter便可支持交叉並的比較符
示例2:
查詢 庫存數是100 而且 賣出數不是0 的產品
res = models.Book.objects.filter(Q(kucun=100)&~Q(maichu=0)) print(res) ##################### <QuerySet [<Book: linux>]>
Q
對象可使用&
和|
操做符組合起來。當一個操做符在兩個Q
對象上使用時,它產生一個新的Q
對象。
咱們能夠組合& 和| 操做符以及使用括號進行分組來編寫任意複雜的Q 對象。
同時,Q 對象可使用~ 操做符取反,這容許組合正常的查詢和取反(NOT) 查詢。
查詢產品名包含新款, 而且庫存數大於60的
models.Product.objects.filter(Q(kucun__gt=60), name__contains="新款")
查詢函數能夠混合使用Q 對象
和關鍵字參數。全部提供給查詢函數的參數(關鍵字參數或Q
對象)都將"AND」在一塊兒。可是,若是出現Q
對象,它必須位於全部關鍵字參數的前面。例如:
bookList=Book.objects.filter(Q(publishDate__year=2016) | Q(publishDate__year=2017), title__icontains="python")
# Q查詢進階用法 用Q產生對象 而後再使用 q = Q() q.connector='or' q.children.append(('title__icontains','m')) q.children.append(('kucun',100)) res = models.Book.objects.filter(q) print(res) ################################## <QuerySet [<Book: linux>, <Book: math新款>]> """ 字符串的左邊 跟你的變量名條件書寫如出一轍 """
事務的定義:將多個sql語句操做變成原子性操做,要麼同時成功,有一個失敗則裏面回滾到原來的狀態,保證數據的完整性和一致性(NoSQL數據庫對於事務則是部分支持)
ACID
原子性
一致性
隔離性
持久性
# django中如何開啓事務 from django.db import transaction with transaction.atomic(): # 在該代碼塊中所寫的orm語句 同屬於一個事務 # 縮進出來以後自動結束 commit rollback 要麼同時成功要麼同時失敗
# 事務 # 買一本 跟老男孩學Linux 書 # 在數據庫層面要作的事兒 # 1. 建立一條訂單數據 # 2. 去產品表 將賣出數+1, 庫存數-1 from django.db.models import F from django.db import transaction # 開啓事務處理 try: with transaction.atomic(): # 建立一條訂單數據 models.Order.objects.create(num="110110111", product_id=1, count=1) # 能執行成功 models.Product.objects.filter(id=1).update(kucun=F("kucun")-1, maichu=F("maichu")+1) except Exception as e: print(e)
條件假設:就拿博客園舉例,咱們寫的博客並非按照年月日來分檔,而是按照年月來分的,而咱們的DateField時間格式是年月日形式,也就是說咱們須要對從數據庫拿到的時間格式的數據再進行一次處理拿到咱們想要的時間格式,這樣的需求,Django是沒有給咱們提供方法的,須要咱們本身去寫處理語句了
ORM 執行原生SQL的方法
事務 事務的定義:將多個sql語句操做變成原子性操做,要麼同時成功,有一個失敗則裏面回滾到原來的狀態,保證數據的完整性和一致性(NoSQL數據庫對於事務則是部分支持) 複製代碼 # 事務 # 買一本 跟老男孩學Linux 書 # 在數據庫層面要作的事兒 # 1. 建立一條訂單數據 # 2. 去產品表 將賣出數+1, 庫存數-1 from django.db.models import F from django.db import transaction # 開啓事務處理 try: with transaction.atomic(): # 建立一條訂單數據 models.Order.objects.create(num="110110111", product_id=1, count=1) # 能執行成功 models.Product.objects.filter(id=1).update(kucun=F("kucun")-1, maichu=F("maichu")+1) except Exception as e: print(e) 複製代碼 其餘不爲人知的操做 Django ORM執行原生SQL 條件假設:就拿博客園舉例,咱們寫的博客並非按照年月日來分檔,而是按照年月來分的,而咱們的DateField時間格式是年月日形式,也就是說咱們須要對從數據庫拿到的時間格式的數據再進行一次處理拿到咱們想要的時間格式,這樣的需求,Django是沒有給咱們提供方法的,須要咱們本身去寫處理語句了 ORM 執行原生SQL的方法 QuerySet方法大全 幾個比較重要的方法: update()與save()的區別 二者都是對數據的修改保存操做,可是save()函數是將數據列的所有數據項所有從新寫一遍,而update()則是針對修改的項進行鍼對的更新效率高耗時少 因此之後對數據的修改保存用update() select_related和prefetch_related 複製代碼 def select_related(self, *fields) 性能相關:表之間進行join連表操做,一次性獲取關聯的數據。 總結: 1. select_related主要針一對一和多對一關係進行優化。 2. select_related使用SQL的JOIN語句進行優化,經過減小SQL查詢的次數來進行優化、提升性能。 def prefetch_related(self, *lookups) 性能相關:多表連表操做時速度會慢,使用其執行屢次SQL查詢在Python代碼中實現連表操做。 總結: 1. 對於多對多字段(ManyToManyField)和一對多字段,可使用prefetch_related()來進行優化。 2. prefetch_related()的優化方式是分別查詢每一個表,而後用Python處理他們之間的關係。 複製代碼 bulk_create批量插入數據 要求:一次性插入多條數據 data = ["".join([str(random.randint(65, 99)) for i in range(4)]) for j in range(100)] obj_list = [models.A(name=i) for i in data] models.A.objects.bulk_create(obj_list)
幾個比較重要的方法:
區別
只針對一對多的表格,和一對一的表格,返回的對象
res = models.Book.objects.select_related('publish') print(res) res1 = models.Book.objects.all() res2 = models.Author.objects.select_related('author_detail') for r in res2: print(r.author_detail) """ select_related 會自動幫你作連表操做 而後將連表以後的數據所有查詢出來封裝給對象 select_related括號內只能放外鍵字段 而且多對多字段不能放 若是括號內外鍵字段所關聯的表中還有外鍵字段 還能夠繼續連表 select_related(外鍵字段__外鍵字段__外鍵字段...) """
res = models.Book.objects.prefetch_related('publish') # print(res) for r in res: print(r.publish.name) """ prefetch_related 看似連表操做 實際上是相似於子查詢 prefetch_related括號內只能放外鍵字段 而且多對多字段不能放 若是括號內外鍵字段所關聯的表中還有外鍵字段 還能夠繼續連表 select_related(外鍵字段__外鍵字段__外鍵字段...) """
def select_related(self, *fields) 性能相關:表之間進行join連表操做,一次性獲取關聯的數據。 總結: 1. select_related主要針一對一和多對一關係進行優化。 2. select_related使用SQL的JOIN語句進行優化,經過減小SQL查詢的次數來進行優化、提升性能。 def prefetch_related(self, *lookups) 性能相關:多表連表操做時速度會慢,使用其執行屢次SQL查詢在Python代碼中實現連表操做。 總結: 1. 對於多對多字段(ManyToManyField)和一對多字段,可使用prefetch_related()來進行優化。 2. prefetch_related()的優化方式是分別查詢每一個表,而後用Python處理他們之間的關係。
res = models.Book.objects.all() res = models.Book.objects.values('title') res = models.Book.objects.only('title') for r in res: print(r.title) print(r.price)#查詢不在的字段,會再次查詢數據庫,形成數據庫壓力大,要不斷的重複查找
res = models.Book.objects.defer('title') # defer和only互爲反關係 for r in res: print(r.author_detail) print(r.title)# 查詢在的字段,會再次查詢數據庫,形成數據庫壓力大
要求:一次性插入多條數據
data = ["".join([str(random.randint(65, 99)) for i in range(4)]) for j in range(100)] obj_list = [models.A(name=i) for i in data] models.A.objects.bulk_create(obj_list)
二者都是對數據的修改保存操做,可是save()函數是將數據列的所有數據項所有從新寫一遍,而update()則是針對修改的項進行鍼對的更新效率高耗時少
因此之後對數據的修改保存用update()
################################################################## # PUBLIC METHODS THAT ALTER ATTRIBUTES AND RETURN A NEW QUERYSET # ################################################################## def all(self) # 獲取全部的數據對象 def filter(self, *args, **kwargs) # 條件查詢 # 條件能夠是:參數,字典,Q def exclude(self, *args, **kwargs) # 條件查詢 # 條件能夠是:參數,字典,Q def select_related(self, *fields) 性能相關:表之間進行join連表操做,一次性獲取關聯的數據。 總結: 1. select_related主要針一對一和多對一關係進行優化。 2. select_related使用SQL的JOIN語句進行優化,經過減小SQL查詢的次數來進行優化、提升性能。 def prefetch_related(self, *lookups) 性能相關:多表連表操做時速度會慢,使用其執行屢次SQL查詢在Python代碼中實現連表操做。 總結: 1. 對於多對多字段(ManyToManyField)和一對多字段,可使用prefetch_related()來進行優化。 2. prefetch_related()的優化方式是分別查詢每一個表,而後用Python處理他們之間的關係。 def annotate(self, *args, **kwargs) # 用於實現聚合group by查詢 from django.db.models import Count, Avg, Max, Min, Sum v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id')) # SELECT u_id, COUNT(ui) AS `uid` FROM UserInfo GROUP BY u_id v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id')).filter(uid__gt=1) # SELECT u_id, COUNT(ui_id) AS `uid` FROM UserInfo GROUP BY u_id having count(u_id) > 1 v = models.UserInfo.objects.values('u_id').annotate(uid=Count('u_id',distinct=True)).filter(uid__gt=1) # SELECT u_id, COUNT( DISTINCT ui_id) AS `uid` FROM UserInfo GROUP BY u_id having count(u_id) > 1 def distinct(self, *field_names) # 用於distinct去重 models.UserInfo.objects.values('nid').distinct() # select distinct nid from userinfo 注:只有在PostgreSQL中才能使用distinct進行去重 def order_by(self, *field_names) # 用於排序 models.UserInfo.objects.all().order_by('-id','age') def extra(self, select=None, where=None, params=None, tables=None, order_by=None, select_params=None) # 構造額外的查詢條件或者映射,如:子查詢 Entry.objects.extra(select={'new_id': "select col from sometable where othercol > %s"}, select_params=(1,)) Entry.objects.extra(where=['headline=%s'], params=['Lennon']) Entry.objects.extra(where=["foo='a' OR bar = 'a'", "baz = 'a'"]) Entry.objects.extra(select={'new_id': "select id from tb where id > %s"}, select_params=(1,), order_by=['-nid']) def reverse(self): # 倒序 models.UserInfo.objects.all().order_by('-nid').reverse() # 注:若是存在order_by,reverse則是倒序,若是多個排序則一一倒序 def defer(self, *fields): models.UserInfo.objects.defer('username','id') 或 models.UserInfo.objects.filter(...).defer('username','id') #映射中排除某列數據 def only(self, *fields): #僅取某個表中的數據 models.UserInfo.objects.only('username','id') 或 models.UserInfo.objects.filter(...).only('username','id') def using(self, alias): 指定使用的數據庫,參數爲別名(setting中的設置) ################################################## # PUBLIC METHODS THAT RETURN A QUERYSET SUBCLASS # ################################################## def raw(self, raw_query, params=None, translations=None, using=None): # 執行原生SQL models.UserInfo.objects.raw('select * from userinfo') # 若是SQL是其餘表時,必須將名字設置爲當前UserInfo對象的主鍵列名 models.UserInfo.objects.raw('select id as nid from 其餘表') # 爲原生SQL設置參數 models.UserInfo.objects.raw('select id as nid from userinfo where nid>%s', params=[12,]) # 將獲取的到列名轉換爲指定列名 name_map = {'first': 'first_name', 'last': 'last_name', 'bd': 'birth_date', 'pk': 'id'} Person.objects.raw('SELECT * FROM some_other_table', translations=name_map) # 指定數據庫 models.UserInfo.objects.raw('select * from userinfo', using="default") ################### 原生SQL ################### from django.db import connection, connections cursor = connection.cursor() # cursor = connections['default'].cursor() cursor.execute("""SELECT * from auth_user where id = %s""", [1]) row = cursor.fetchone() # fetchall()/fetchmany(..) def values(self, *fields): # 獲取每行數據爲字典格式 def values_list(self, *fields, **kwargs): # 獲取每行數據爲元祖 def dates(self, field_name, kind, order='ASC'): # 根據時間進行某一部分進行去重查找並截取指定內容 # kind只能是:"year"(年), "month"(年-月), "day"(年-月-日) # order只能是:"ASC" "DESC" # 並獲取轉換後的時間 - year : 年-01-01 - month: 年-月-01 - day : 年-月-日 models.DatePlus.objects.dates('ctime','day','DESC') def datetimes(self, field_name, kind, order='ASC', tzinfo=None): # 根據時間進行某一部分進行去重查找並截取指定內容,將時間轉換爲指定時區時間 # kind只能是 "year", "month", "day", "hour", "minute", "second" # order只能是:"ASC" "DESC" # tzinfo時區對象 models.DDD.objects.datetimes('ctime','hour',tzinfo=pytz.UTC) models.DDD.objects.datetimes('ctime','hour',tzinfo=pytz.timezone('Asia/Shanghai')) """ pip3 install pytz import pytz pytz.all_timezones pytz.timezone(‘Asia/Shanghai’) """ def none(self): # 空QuerySet對象 #################################### # METHODS THAT DO DATABASE QUERIES # #################################### def aggregate(self, *args, **kwargs): # 聚合函數,獲取字典類型聚合結果 from django.db.models import Count, Avg, Max, Min, Sum result = models.UserInfo.objects.aggregate(k=Count('u_id', distinct=True), n=Count('nid')) ===> {'k': 3, 'n': 4} def count(self): # 獲取個數 def get(self, *args, **kwargs): # 獲取單個對象 def create(self, **kwargs): # 建立對象 def bulk_create(self, objs, batch_size=None): # 批量插入 # batch_size表示一次插入的個數 objs = [ models.DDD(name='r11'), models.DDD(name='r22') ] models.DDD.objects.bulk_create(objs, 10) def get_or_create(self, defaults=None, **kwargs): # 若是存在,則獲取,不然,建立 # defaults 指定建立時,其餘字段的值 obj, created = models.UserInfo.objects.get_or_create(username='root1', defaults={'email': '1111111','u_id': 2, 't_id': 2}) def update_or_create(self, defaults=None, **kwargs): # 若是存在,則更新,不然,建立 # defaults 指定建立時或更新時的其餘字段 obj, created = models.UserInfo.objects.update_or_create(username='root1', defaults={'email': '1111111','u_id': 2, 't_id': 1}) def first(self): # 獲取第一個 def last(self): # 獲取最後一個 def in_bulk(self, id_list=None): # 根據主鍵ID進行查找 id_list = [11,21,31] models.DDD.objects.in_bulk(id_list) def delete(self): # 刪除 def update(self, **kwargs): # 更新 def exists(self): # 是否有結果