mongo中的高級查詢之聚合操做(distinct,count,group)

Mongodb中自帶的基本聚合函數有三種：count、distinct和group。下面咱們分別來說述一下這三個基本聚合函數。

（1）count

做用：簡單統計集合中符合某種條件的文檔數量。

使用方式：db.collection.count(<query>)或者db.collection.find(<query>).count()

參數說明：其中<query>是用於查詢的目標條件。若是出了想限定查出來的最大文檔數，或者想統計後跳過指定條數的文檔，則還須要藉助於limit，skip。

舉例：

db.collection.find(<query>).limit();

db.collection.find(<query>).skip();

 

（2）distinct

做用：用於對集合中的文檔針進行去重處理

使用方式：db,collection.distinct(field,query)

參數說明：field是去重字段，能夠是單個的字段名，也能夠是嵌套的字段名；query是查詢條件，能夠爲空；

舉例：

db.collection.distinct("user",{「age":{$gt:28}});//用於查詢年齡age大於28歲的不一樣用戶名

除了上面的用法外，還可使用下面的另一種方法：

db.runCommand({"distinct":"collectionname","key":"distinctfied","query":<query>})

collectionname：去重統計的集合名，distinctfield：去重字段,，<query>是可選的限制條件；

舉例：

這兩種方式的區別：第一種方法是對第二種方法的封裝，第一種只返回去重統計後的字段值集合，但第二種方式既返回字段值集合也返回統計時的細節信息。

 

（3）group

做用：用於提供比count、distinct更豐富的統計需求，可使用js函數控制統計邏輯

使用方式：db.collection.group(key,reduce,initial[,keyf][,cond][,finalize])

備註說明：在2.2版本以前，group操做最多隻能返回10000條分組記錄，可是從2.2版本以後到2.4版本，mongodb作了優化，可以支持返回20000條分組記錄返回，若是分組記錄的條數大於20000條，那麼可能你就須要其餘方式進行統計了，好比聚合管道或者MapReduce；

===========================================================

mongo中的高級查詢之聚合操做(distinct,count,group)

1.distinct的實現：

db.consumerecords.distinct("userId"):鍵值去重  相似於mysql中的 select distinct userId from consumerecords

db.consumerecords.distinct("userId",{act:"charge"}):過濾以後去重,相似於mysql中的select distinct userId from consumerecords where act="charge"

db.consumerecords.distinct("userId").length:去重以後求記錄數,相似於mysql中的 select count(distinct userId) from consumerecords 

2.count的實現

db.consumerecords.count():相似於 mysql中 select count(*) from consumerecords

db.consumerecords.count({act:"charge"}):

相似於mysql中的 select  count(*) from  consumerecords where act="charge"

3.group的實現

(1).分組求和:相似於mysql中的 select act,sum(count) from  consumerecords group by act

db.consumerecords.group(
 {
 key:{act:true}, 
 initial:{ct:0},    
 $reduce:function(doc,prev)  
 {
    prev.ct = prev.ct + doc.count    
 }

 }
 )

(2).分組求和,過濾。相似mysql中的select act,sum(count) from  consumerecords group by act having act='charge';

db.consumerecords.group(
{
 key:{act:true}, 
 initial:{ct:0},    
 $reduce:function(doc,prev)  
 {
      prev.ct = prev.ct + doc.count    
 },
 condition:{act:"charge"}
}
)

(3).將時間格式化而且按時間分組求count,不推薦使用這種方法。

db.playerlogs.aggregate({$project:{ userId:1,con:{$concat:[{$substr:[{$year:"$start"},0,4]},"0",{$substr:[{$month:"$start"},0,4]},{$substr:[{$dayOfMonth:"$start"},0,4]}]} ,_id:0}},{$group:{_id:"$con",count:{$sum:1}}},{$sort:{con:1}}) ;

 

group按時間分組(時間格式化)

http://www.tuicool.com/articles/EjUnQz

db.playerlogs.group({

 keyf : function(doc){

    var date = new Date(doc.start);

    var dateKey = ""+date.getFullYear()+"-"+(date.getMonth()+1)+"-"+date.getDate();

    return {'day':dateKey}; 

}, 

 initial : {count:0}, 

 reduce : function Reduce(doc, out) {

    out.count++

}

});

javascriptz中時間的相關函數參考:

http://blog.csdn.net/npp616/article/details/7181730

 

(4).group 分組方法實現的講解。

group 的完整語法是。

db.consumerecords.group(
{
 key:{act:true}, 
 initial:{ct:0},    
 $reduce:function(doc,prev)  
 {
              prev.ct = prev.ct + parseInt(doc.count)    
 },
          finalize:function(doc)
　　　　　{
　　　　　  doc.ct=doc.ct +  100
　　　　　},
          condition:{act:"charge"}

 }
 )

參數解釋:

key:須要分組的鍵或是函數(function),group分組實例3中的key就是一個函數值

initial:聲明而且初始化變量。每一組共享一個變量值。多個變量之間用逗號隔開

$reduce:循環體,集合中有多少個文檔，就會循環多少次。函數(function)中變量doc表示當前文檔對象,

prev表示累積處理的結果對象(這個地方可能描述的不是很狀況,本身慢慢體會)

finalize:可選參數,能夠簡單理解爲對分組以後的結果的再次處理,doc表示group以後的文檔對象(這一步也是一個循環體

condition:可選參數,對已經分組好的結果進行過濾,有點相似於mysql中的having

 

4.mapReduce:暫缺,要想玩轉這個方法須要有很強的JavaScript功能。

聽說mapReduce 能夠實現很複雜的查詢,能夠將一個複雜的查詢分拆到多個機器上運行,

而後把各個結果集組合起來,造成最終結果。可是很慢。

 

mapreduce用法大全

http://www.cnblogs.com/yuechaotian/archive/2013/02/22/2922268.html

mapreduce性能調優

http://www.iteye.com/news/28013 

數組中去除重複值示例 

http://www.cnblogs.com/sosoft/archive/2013/12/08/3463830.html 

 

5.db.runCommand的相關命令.

db.runCommand({distinct:"consumerecords",key:"userId"}):鍵值去重  相似於mysql中的 select distinct userId from consumerecords

db.runCommand({distinct:"consumerecords",key:"userId"}).values.length:去重以後求記錄數,相似於mysql中的 select count(distinct userId) from consumerecords 

db.runCommand({distinct:"consumerecords",key:"userId",query:{act:"charge"}}):去重以後求記錄數,相似於mysql中的 select distinct userId from consumerecords where act="charge"

db.runCommand(

... {

... group:

... {

... ns:"test2",     # 集合名

... key:{iname:true},  # 分組字段

... initial:{dd:0},    # 按照來初始化該值

... $reduce:function(doc,prev)  # 每一個文檔循環一遍 doc當前文檔  ,prev : 通過$reduce以後 ,function返回的值

... {

...             prev.dd=doc.iage+prev.dd    # 

... }

... 

... }

... }

... )

數值以字符串形式存儲的解決方案：

db.runCommand(

{

　　group:

　　{

　　　　ns:"consumerecords",

　　　　key:{act:true},

　　　　initial:{ct:100,tt:0},

　　　　$reduce:function(doc,prev)

　　　　{

          prev.tt=parseInt(prev.tt)+parseInt(doc.count)    

　　　　},

        condition:{act:"charge"}

　　}

}

)

 

mongo的聚合操做

http://www.cnblogs.com/huangxincheng/archive/2012/02/21/2361205.html

http://www.cnblogs.com/stephen-liu74/archive/2012/09/19/2652308.html

http://www.cnblogs.com/refactor/archive/2012/08/06/2592734.html

聚合框架:

http://dwchaoyue.blog.51cto.com/2826417/1608068

javascript數據類型轉換

http://blog.csdn.net/yjq8116/article/details/3219993/