MongoDB分組查詢，聚合查詢，以及複雜查詢

準備數據

from pymongo import MongoClient
import datetime

client=MongoClient('mongodb://localhost:27017')
table=client['db1']['emp']

l=[
('張飛','male',18,'20170301','',7300.33,401,1), #如下是教學部
('張雲','male',78,'20150302','teacher',1000000.31,401,1),
('劉備','male',81,'20130305','teacher',8300,401,1),
('關羽','male',73,'20140701','teacher',3500,401,1),
('曹操','male',28,'20121101','teacher',2100,401,1),
('諸葛亮','female',18,'20110211','teacher',9000,401,1),
('周瑜','male',18,'19000301','teacher',30000,401,1),
('司馬懿','male',48,'20101111','teacher',10000,401,1),

('袁紹','female',48,'20150311','sale',3000.13,402,2),#如下是銷售部門
('張全蛋','female',38,'20101101','sale',2000.35,402,2),
('鵪鶉蛋','female',18,'20110312','sale',1000.37,402,2),
('王尼瑪','female',18,'20160513','sale',3000.29,402,2),
('我尼瑪','female',28,'20170127','sale',4000.33,402,2),

('楊過','male',28,'20160311','operation',10000.13,403,3), #如下是運營部門
('小龍女','male',18,'19970312','operation',20000,403,3),
('郭靖','female',18,'20130311','operation',19000,403,3),
('黃蓉','male',18,'20150411','operation',18000,403,3),
('梅超風','female',18,'20140512','operation',17000,403,3)
]

for n,item in enumerate(l):
    d={
        "_id":n,
        'name':item[0],
        'sex':item[1],
        'age':item[2],
        'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'),
        'post':item[4],
        'salary':item[5]
    }
    table.save(d)

# 準備數據

分組的概念與mysql相同,以某個字段做爲依據進行歸類,其目的是爲了統計

$match

#match 用於對數據進行篩選
{"$match":{"字段":"條件"}},可使用任何經常使用查詢操做符$gt,$lt,$in等

#例一、select * from db1.emp where post='teacher';
db.emp.aggregate({"$match":{"post":"teacher"}})

#例二、select * from db1.emp where id > 3;  
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
)

$project

# project翻譯爲投射 ,即將一個數據結果映射爲另外一個結果 過程當中能夠對某些數據進行修改  控制其最終顯示的結果
{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表達式"}}

#一、select name,post,(age+1) as new_age from db1.emp;
db.emp.aggregate(
    {"$project":{
        "name":1,
        "post":1
        }})

#二、表達式之數學表達式
{"$add":[expr1,expr2,...,exprN]} #相加
{"$subtract":[expr1,expr2]} #第一個減第二個
{"$multiply":[expr1,expr2,...,exprN]} #相乘
{"$divide":[expr1,expr2]} #第一個表達式除以第二個表達式的商做爲結果
{"$mod":[expr1,expr2]} #第一個表達式除以第二個表達式獲得的餘數做爲結果
#例:全部人年齡加1顯示
db.emp.aggregate(
    {"$project":{
        "name":1,
        "post":1,
        "new_age":{"$add":["$age",1]}
        }})
# 錯誤示範: 緣由:參加運算的字段不能被影藏
db.emp.aggregate(
    {"$project":{
    "name":1,
    "salary":1,
    "age":0,
    "new_age":{"$add":["$age",1]}
    }})


#三、表達式之日期表達式:$year,$month,$week,$dayOfMonth,$dayOfWeek,$dayOfYear,$hour,$minute,$second
#例如：select name,date_format("%Y") as hire_year from db1.emp
db.emp.aggregate(
    {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}}
)

#例如查看每一個員工的工做多長時間
db.emp.aggregate(
    {"$project":{"name":1,"hire_period":{
        "$subtract":[
            {"$year":new Date()},
            {"$year":"$hire_date"}
        ]
    }}}
)



#四、字符串表達式
{"$substr":[字符串/$值爲字符串的字段名,起始位置,截取幾個字節]}
{"$concat":[expr1,expr2,...,exprN]} #指定的表達式或字符串鏈接在一塊兒返回,只支持字符串拼接
{"$toLower":expr}
{"$toUpper":expr}


db.emp.aggregate( {"$project":{"NAME":{"$toUpper":"$name"}}})

#五、邏輯表達式
$and
$or
$not
其餘見Mongodb權威指南

$group

# $group用於分組
# 分組後具體信息被影藏 
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
    {"$group":{"_id":"$post"}}  
)

# 一般咱們要對分組後的內容進行統計這就須要對應的幾個聚合函數

# select id,avg(salary) from db1.emp where id > 3 group by post;  
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
    {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}},
)
# math用於匹配 與mysql不一樣的是沒有順序限制 每個操做像是一個管道接收上一個的數據進行處理再傳給下一個

# select id,avg(salary) from db1.emp where id > 3 group by post having avg(salary) > 10000;  
db.emp.aggregate(
    {"$match":{"_id":{"$gt":3}}},
    {"$group":{"_id":"$post",'avg_salary':{"$avg":"$salary"}}},
      {"$match":{"avg_salary":{"$gt":10000}}}
)


# 對應的聚合函數 $sum、$avg、$max、$min、$first、$last


#一、將分組字段傳給$group函數的_id字段便可
{"$group":{"_id":"$sex"}} #按照性別分組
{"$group":{"_id":"$post"}} #按照職位分組
{"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多個字段分組，好比按照州市分組

#二、分組後聚合得結果,相似於sql中聚合函數的聚合操做符：$sum、$avg、$max、$min、$first、$last
#例1：select post,max(salary) from db1.emp group by post; 
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})

#例2：去每一個部門最大薪資與最低薪資
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})

#例3：若是字段是排序後的，那麼$first,$last會頗有用,比用$max和$min效率高
db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})

#例4：求每一個部門的總工資
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})

#例5：求每一個部門的人數
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})


#三、數組操做符
{"$addToSet":expr}：不重複
{"$push":expr}：重複
# 等同於group_concat
#例：查詢崗位名以及各崗位內的員工姓名:select post,group_concat(name) from db1.emp group by post;
db.emp.aggregate({"$group":{"_id":"$post","names":{"$push":"$name"}}})
db.emp.aggregate({"$group":{"_id":"$post","names":{"$addToSet":"$name"}}})

$sort ,limit,skip

{"$sort":{"字段名":1,"字段名":-1}} #1升序，-1降序
{"$limit":n} 
{"$skip":n} #跳過多少個文檔
#例一、取平均工資最高的前兩個部門

db.emp.aggregate(
{
    "$group":{"_id":"$post","平均工資":{"$avg":"$salary"}}
},
{
    "$sort":{"平均工資":-1}
},
{
    "$limit":2
}
)
#例二、
db.emp.aggregate(
{
    "$group":{"_id":"$post","平均工資":{"$avg":"$salary"}}
},
{
    "$sort":{"平均工資":-1}
},
{
    "$limit":2
},
{
    "$skip":1
}
)
排序：$sort、限制：$limit、跳過：$skip

$sample

# 隨機取出n條記錄
#集合users包含的文檔以下
{ "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true }
{ "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false  }
{ "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true  }
{ "_id" : 4, "name" : "li", "q1" : true, "q2" : false  }
{ "_id" : 5, "name" : "annT", "q1" : false, "q2" : true  }
{ "_id" : 6, "name" : "li", "q1" : true, "q2" : true  }
{ "_id" : 7, "name" : "ty", "q1" : false, "q2" : true  }

#下述操做時從users集合中隨機選取3個文檔
db.users.aggregate({"$sample":{"size":3}})
隨機選取n個：$sample

可視化工具

https://robomongo.org