Spider_Man_5.2 の Mongodb_使用

時間 2019-11-17

標籤 spider man 5.2 mongodb 使用欄目 MongoDB 简体版

原文原文鏈接

一：簡介

MongoDB是一款強大、靈活、且易於擴展的通用型數據庫
一、易用性html

MongoDB是一個面向文檔（document-oriented）的數據庫，而不是關係型數據庫。
不採用關係型主要是爲了得到更好得擴展性。固然還有一些其餘好處，與關係數據庫相比，面向文檔的數據庫再也不有「行「（row）的概念取而代之的是更爲靈活的「文檔」（document）模型。
經過在文檔中嵌入文檔和數組，面向文檔的方法可以僅使用一條記錄來表現複雜的層級關係，這與現代的面嚮對象語言的開發者對數據的見解一致。
另外，再也不有預約義模式（predefined schema）：文檔的鍵（key）和值（value）再也不是固定的類型和大小。因爲沒有固定的模式，根據須要添加或刪除字段變得更容易了。一般因爲開發者可以進行快速迭代，因此開發進程得以加快。並且，實驗更容易進行。開發者能嘗試大量的數據模型，從中選一個最好的。

二、易擴展性python

應用程序數據集的大小正在以難以想象的速度增加。隨着可用帶寬的增加和存儲器價格的降低，即便是一個小規模的應用程序，須要存儲的數據量也可能大的驚人，甚至超出
了不少數據庫的處理能力。過去很是罕見的T級數據，如今已是司空見慣了。
因爲須要存儲的數據量不斷增加，開發者面臨一個問題：應該如何擴展數據庫，分爲縱向擴展和橫向擴展，縱向擴展是最省力的作法，但缺點是大型機通常都很是貴，並且
當數據量達到機器的物理極限時，花再多的錢也買不到更強的機器了，此時選擇橫向擴展更爲合適，但橫向擴展帶來的另一個問題就是須要管理的機器太多。
MongoDB的設計採用橫向擴展。面向文檔的數據模型使它能很容易地在多臺服務器之間進行數據分割。MongoDB可以自動處理跨集羣的數據和負載，自動從新分配文檔，以及將
用戶的請求路由到正確的機器上。這樣，開發者可以集中精力編寫應用程序，而不須要考慮如何擴展的問題。若是一個集羣須要更大的容量，只須要向集羣添加新服務器，MongoDB就會自動將現有的數據向新服務器傳送

三、豐富的功能mysql

MongoDB做爲一款通用型數據庫，除了可以建立、讀取、更新和刪除數據以外，還提供了一系列不斷擴展的獨特功能
#一、索引
支持通用二級索引，容許多種快速查詢，且提供惟一索引、複合索引、地理空間索引、全文索引

#二、聚合
支持聚合管道，用戶能經過簡單的片斷建立複雜的集合，並經過數據庫自動優化

#三、特殊的集合類型
支持存在時間有限的集合，適用於那些將在某個時刻過時的數據，如會話session。相似地，MongoDB也支持固定大小的集合，用於保存近期數據，如日誌

#四、文件存儲
支持一種很是易用的協議，用於存儲大文件和文件元數據。MongoDB並不具有一些在關係型數據庫中很廣泛的功能，如連接join和複雜的多行事務。省略
這些的功能是處於架構上的考慮，或者說爲了獲得更好的擴展性，由於在分佈式系統中這兩個功能難以高效地實現

四、卓越的性能正則表達式

MongoDB的一個主要目標是提供卓越的性能，這很大程度上決定了MongoDB的設計。MongoDB把儘量多的內存用做緩存cache，視圖爲每次查詢自動選擇正確的索引。
總之各方面的設計都旨在保持它的高性能
雖然MongoDB很是強大並試圖保留關係型數據庫的不少特性，但它並不追求具有關係型數據庫的全部功能。只要有可能，數據庫服務器就會將處理邏輯交給客戶端。這種精簡方式的設計是MongoDB可以實現如
此高性能的緣由之一

二：MongoDB基礎知識

一、文檔是MongoDB的核心概念。文檔就是鍵值對的一個有序集{'msg':'hello','foo':3}。相似於python中的有序字典。sql

須要注意的是：
#一、文檔中的鍵/值對是有序的。
#二、文檔中的值不只能夠是在雙引號裏面的字符串，還能夠是其餘幾種數據類型（甚至能夠是整個嵌入的文檔)。
#三、MongoDB區分類型和大小寫。
#四、MongoDB的文檔不能有重複的鍵。
#五、文檔中的值能夠是多種不一樣的數據類型，也能夠是一個完整的內嵌文檔。文檔的鍵是字符串。除了少數例外狀況，鍵可使用任意UTF-8字符。

文檔鍵命名規範：
#一、鍵不能含有\0 (空字符)。這個字符用來表示鍵的結尾。
#二、.和$有特別的意義，只有在特定環境下才能使用。
#三、如下劃線"_"開頭的鍵是保留的(不是嚴格要求的)。

二、集合就是一組文檔。若是將MongoDB中的一個文檔比喻爲關係型數據的一行，那麼一個集合就是至關於一張表mongodb

#一、集合存在於數據庫中，一般狀況下爲了方便管理，不一樣格式和類型的數據應該插入到不一樣的集合，但其實集合沒有固定的結構，這意味着咱們徹底能夠把不一樣格式和類型的數據通通插入一個集合中。

#二、組織子集合的方式就是使用「.」，分隔不一樣命名空間的子集合。
好比一個具備博客功能的應用可能包含兩個集合，分別是blog.posts和blog.authors，這是爲了使組織結構更清晰，這裏的blog集合（這個集合甚至不須要存在）跟它的兩個子集合沒有任何關係。
在MongoDB中，使用子集合來組織數據很是高效，值得推薦

#三、當第一個文檔插入時，集合就會被建立。合法的集合名：
集合名不能是空字符串""。
集合名不能含有\0字符（空字符)，這個字符表示集合名的結尾。
集合名不能以"system."開頭，這是爲系統集合保留的前綴。
用戶建立的集合名字不能含有保留字符。有些驅動程序的確支持在集合名裏面包含，這是由於某些系統生成的集合中包含該字符。除非你要訪問這種系統建立的集合，不然千萬不要在名字裏出現$。

三、數據庫：在MongoDB中，多個文檔組成集合，多個集合能夠組成數據庫shell

數據庫也經過名字來標識。數據庫名能夠是知足如下條件的任意UTF-8字符串：
#一、不能是空字符串（"")。
#二、不得含有' '（空格)、.、$、/、\和\0 (空字符)。
#三、應所有小寫。
#四、最多64字節。

有一些數據庫名是保留的，能夠直接訪問這些有特殊做用的數據庫。
#一、admin： 從身份認證的角度講，這是「root」數據庫，若是將一個用戶添加到admin數據庫，這個用戶將自動得到全部數據庫的權限。再者，一些特定的服務器端命令也只能從admin數據庫運行，如列出全部數據庫或關閉服務器
#二、local: 這個數據庫永遠都不能夠複製，且一臺服務器上的全部本地集合均可以存儲在這個數據庫中
#三、config: MongoDB用於分片設置時，分片信息會存儲在config數據庫中

四、強調：把數據庫名添加到集合名前，獲得集合的徹底限定名，即命名空間數據庫

例如：
若是要使用cms數據庫中的blog.posts集合，這個集合的命名空間就是
cmd.blog.posts。命名空間的長度不得超過121個字節，且在實際使用中應該小於100個字節

三：安裝

1.關於安裝：友情連接：Spider_Man_5.1 の Mongodb_安裝編程

2：關於帳號管理：json

#帳號管理：https://docs.mongodb.com/master/tutorial/enable-authentication/
#一、建立帳號
use admin
db.createUser(
  {
    user: "root",
    pwd: "123",
    roles: [ { role: "root", db: "admin" } ]
  }
)

use test
db.createUser(
  {
    user: "fff",
    pwd: "123",
    roles: [ { role: "readWrite", db: "test" },
             { role: "read", db: "db1" } ]
  }
)


#二、重啓數據庫
mongod --remove
mongod --config "存放目錄\mongodb\mongod.cfg" --bind_ip 0.0.0.0 --install --auth

#三、登陸：注意使用雙引號而非單引號
mongo --port 27017 -u "root" -p "123" --authenticationDatabase "admin"

也能夠在登陸以後用db.auth("帳號","密碼")登陸
mongo
use admin
db.auth("root","123")

3：命令行shell

#一、mongo 127.0.0.1:27017/config #鏈接到任何數據庫config

#二、mongo --nodb #不鏈接到任何數據庫

#三、啓動以後，在須要時運行new Mongo(hostname)命令就能夠鏈接到想要的mongod了：
> conn=new Mongo('127.0.0.1:27017')
connection to 127.0.0.1:27017
> db=conn.getDB('admin')
admin

#四、help查看幫助

#五、mongo是一個簡化的JavaScript shell，是能夠執行JavaScript腳本的

四：基本數據類型

一、在概念上，MongoDB的文檔與Javascript的對象相近，於是能夠認爲它相似於JSON。JSON（http://www.json.org）是一種簡單的數據表示方式：其規範僅用一段文字就能描述清楚（其官網證實了這點），且僅包含六種數據類型。

二、這樣有不少好處：易於理解、易於解析、易於記憶。然而從另外一方面說，由於只有null、布爾、數字、字符串、數字和對象這幾種數據類型，因此JSON的表達能力有必定的侷限。

三、雖然JSON具有的這些類型已經具備很強的表現力，但絕大數應用（尤爲是在於數據庫打交道時）都還須要其餘一些重要的類型。例如，JSON沒有日期類型，這使得本來容易日期處理變得煩人。另外，JSON只有一種數字類型，沒法區分浮點數和整數，更別區分32位和64位了。再者JSON沒法表示其餘一些通用類型，如正則表達式或函數。

四、MongoDB在保留了JSON基本鍵/值對特性的基礎上，添加了其餘一些數據類型。在不一樣的編程語言下，這些類型的確切表示有些許差別。下面說明了MongoDB支持的其餘通用類型，以及如何正在文檔中使用它們

#一、null：用於表示空或不存在的字段
d={'x':null}
#二、布爾型：true和false
d={'x':true,'y':false}
#三、數值
d={'x':3,'y':3.1415926}
#四、字符串
d={'x':'fff'}
#五、日期
d={'x':new Date()}
d.x.getHours()
#六、正則表達式
d={'pattern':/^egon.*?nb$/i}

正則寫在／／內，後面的i表明:
i 忽略大小寫
m 多行匹配模式
x 忽略非轉義的空白字符
s 單行匹配模式

#七、數組
d={'x':[1,'a','v']}

#八、內嵌文檔
user={'name':'fff','addr':{'country':'China','city':'LB'}}
user.addr.country

#九、對象id:是一個12字節的ID,是文檔的惟一標識，不可變
d={'x':ObjectId()}

五、_id 和 ObjectId

MongoDB中存儲的文檔必須有一個"_id"鍵。這個鍵的值能夠是任意類型，默認是個ObjectId對象。
在一個集合裏，每一個文檔都有惟一的「_id」,確保集合裏每一個文檔都能被惟一標識。
不一樣集合"_id"的值能夠重複，但同一集合內"_id"的值必須惟一

#一、ObjectId
ObjectId是"_id"的默認類型。由於設計MongoDb的初衷就是用做分佈式數據庫，因此可以在分片環境中生成
惟一的標識符很是重要，而常規的作法：在多個服務器上同步自動增長主鍵既費時又費力，這就是MongoDB採用
ObjectId的緣由。
ObjectId採用12字節的存儲空間，是一個由24個十六進制數字組成的字符串
    0|1|2|3|   4|5|6|     7|8    9|10|11    
    時間戳      機器      PID    計數器
若是快速建立多個ObjectId，會發現每次只有最後幾位有變化。另外，中間的幾位數字也會變化（要是在建立過程當中停頓幾秒）。
這是ObjectId的建立方式致使的，如上圖

時間戳單位爲秒，與隨後5個字節組合起來，提供了秒級的惟一性。這個4個字節隱藏了文檔的建立時間，絕大多數驅動程序都會提供
一個方法，用於從ObjectId中獲取這些信息。

由於使用的是當前時間，不少用戶擔憂要對服務器進行時鐘同步。其實不必，由於時間戳的實際值並不重要，只要它老是不停增長就好。
接下來3個字節是所在主機的惟一標識符。一般是機器主機名的散列值。這樣就能夠保證不一樣主機生成不一樣的ObjectId，不產生衝突

接下來連個字節確保了在同一臺機器上併發的多個進程產生的ObjectId是惟一的

前9個字節確保了同一秒鐘不一樣機器不一樣進程產生的ObjectId是惟一的。最後3個字節是一個自動增長的 計數器。確保相同進程的同一秒產生的
ObjectId也是不同的。

#二、自動生成_id
若是插入文檔時沒有"_id"鍵，系統會自幫你建立 一個。能夠由MongoDb服務器來作這件事。
但一般會在客戶端由驅動程序完成。這一作法很是好地體現了MongoDb的哲學：能交給客戶端驅動程序來作的事情就不要交給服務器來作。
這種理念背後的緣由是：即使是像MongoDB這樣擴展性很是好的數據庫，擴展應用層也要比擴展數據庫層容易的多。將工做交給客戶端作就
減輕了數據庫擴展的負擔。

_id & ObjectId

五：CURD 操做

一、數據庫操做(use,show,dropDatabase)

#一、增
use config #若是數據庫不存在，則建立數據庫，不然切換到指定數據庫。

#二、查
show dbs #查看全部
能夠看到，咱們剛建立的數據庫config並不在數據庫的列表中， 要顯示它，咱們須要向config數據庫插入一些數據。
db.table1.insert({'a':1})

#三、刪
use config #先切換到要刪的庫下
db.dropDatabase() #刪除當前庫

二、集合操做

#一、增
當第一個文檔插入時，集合就會被建立
> use database1
switched to db database1
> db.table1.insert({'a':1})
WriteResult({ "nInserted" : 1 })
> db.table2.insert({'b':2})
WriteResult({ "nInserted" : 1 })

#二、查
> show tables
table1
table2

#三、刪
> db.table1.drop()
true
> show tables
table2

關於集合操做

三、文檔操做

　　3.1 增：

#一、沒有指定_id則默認ObjectId,_id不能重複，且在插入後不可變

#二、插入單條
user0={
    "name":"pp",
    "age":10,
    'hobbies':['music','read','dancing'],
    'addr':{
        'country':'China',
        'city':'BJ'
    }
}

db.test.insert(user0)
db.test.find()

#三、插入多條
user1={
    "_id":1,
    "name":"ww",
    "age":10,
    'hobbies':['music','read','dancing'],
    'addr':{
        'country':'China',
        'city':'weifang'
    }
}

user2={
    "_id":2,
    "name":"wusir",
    "age":20,
    'hobbies':['music','read','run'],
    'addr':{
        'country':'China',
        'city':'hebei'
    }
}


user3={
    "_id":3,
    "name":"nazha",
    "age":30,
    'hobbies':['music','drink'],
    'addr':{
        'country':'China',
        'city':'heibei'
    }
}

user4={
    "_id":4,
    "name":"eva",
    "age":40,
    'hobbies':['music','read','dancing','tea'],
    'addr':{
        'country':'China',
        'city':'BJ'
    }
}

user5={
    "_id":5,
    "name":"ff",
    "age":50,
    'hobbies':['music','read',],
    'addr':{
        'country':'China',
        'city':'henan'
    }
}
db.user.insertMany([user1,user2,user3,user4,user5])

單條插入與多條插入

　　3.2 刪：

#一、刪除多箇中的第一個
db.user.deleteOne({ 'age': 8 })

#二、刪除國家爲China的所有
db.user.deleteMany( {'addr.country': 'China'} ) 

#三、刪除所有
db.user.deleteMany({})

deleteOne & deleteMany

　　3.3 改：

update() 方法用於更新已存在的文檔。語法格式以下：
db.collection.update(
   <query>,
   <update>,
   {
     upsert: <boolean>,
     multi: <boolean>,
     writeConcern: <document>
   }
)
參數說明：對比update db1.t1 set name='FFF',sex='Male' where name='fff' and age=18;

query : 至關於where條件。
update : update的對象和一些更新的操做符（如$,$inc...等，至關於set後面的
upsert : 可選，默認爲false，表明若是不存在update的記錄不更新也不插入，設置爲true表明插入。
multi : 可選，默認爲false，表明只更新找到的第一條記錄，設爲true,表明更新找到的所有記錄。
writeConcern :可選，拋出異常的級別。

更新操做是不可分割的：若兩個更新同時發送，先到達服務器的先執行，而後執行另一個，不會破壞文檔。

update語法介紹

update語法介紹

#注意：除非是刪除，不然_id是始終不會變的
#一、覆蓋式:
db.user.update({'age':20},{"name":"Wxx","hobbies_count":3})
是用{"_id":2,"name":"Wxx","hobbies_count":3}覆蓋原來的記錄

#二、一種最簡單的更新就是用一個新的文檔徹底替換匹配的文檔。這適用於大規模式遷移的狀況。例如
var obj=db.user.findOne({"_id":2})

obj.username=obj.name+'SB'
obj.hobbies_count++
delete obj.age

db.user.update({"_id":2},obj)

覆蓋式

#設置：$set

一般文檔只會有一部分須要更新。可使用原子性的更新修改器，指定對文檔中的某些字段進行更新。
更新修改器是種特殊的鍵，用來指定複雜的更新操做，好比修改、增長後者刪除

#一、update db1.user set  name="WXX" where id = 2
db.user.update({'_id':2},{"$set":{"name":"WXX",}})

#二、沒有匹配成功則新增一條{"upsert":true}
db.user.update({'_id':6},{"$set":{"name":"pp","age":18}},{"upsert":true})

#三、默認只改匹配成功的第一條,{"multi":改多條}
db.user.update({'_id':{"$gt":4}},{"$set":{"age":28}})
db.user.update({'_id':{"$gt":4}},{"$set":{"age":38}},{"multi":true})

#四、修改內嵌文檔，把名字爲alex的人所在的地址國家改爲Japan
db.user.update({'name':"ww"},{"$set":{"addr.country":"Japan"}})

#五、把名字爲alex的人的地2個愛好改爲piao
db.user.update({'name':"ww"},{"$set":{"hobbies.1":"piao"}})

#六、刪除alex的愛好,$unset
db.user.update({'name':"ww"},{"$unset":{"hobbies":""}})

設置：$set

增長和減小：$inc

#一、全部人年齡增長一歲
db.user.update({},
    {
        "$inc":{"age":1}
    },
    {
        "multi":true
    }
    )
#二、全部人年齡減小5歲
db.user.update({},
    {
        "$inc":{"age":-5}
    },
    {
        "multi":true
    }
    )

增長和減小：$inc

#添加刪除數組內元素
    
往數組內添加元素:$push
#一、爲名字爲qwe的人添加一個愛好read
db.user.update({"name":"qwe"},{"$push":{"hobbies":"read"}})

#二、爲名字爲qwe的人一次添加多個愛好tea，dancing
db.user.update({"name":"qwe"},{"$push":{
    "hobbies":{"$each":["tea","dancing"]}
}})

按照位置且只能從開頭或結尾刪除元素：$pop
#三、{"$pop":{"key":1}} 從數組末尾刪除一個元素

db.user.update({"name":"qwe"},{"$pop":{
    "hobbies":1}
})

#四、{"$pop":{"key":-1}} 從頭部刪除
db.user.update({"name":"qwe"},{"$pop":{
    "hobbies":-1}
})

#五、按照條件刪除元素,："$pull" 把符合條件的通通刪掉，而$pop只能從兩端刪
db.user.update({'addr.country':"China"},{"$pull":{
    "hobbies":"read"}
},
{
    "multi":true
}
)

添加刪除組內元素:$push,$pop,$pull

#避免添加劇復："$addToSet"

db.urls.insert({"_id":1,"urls":[]})

db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})
db.urls.update({"_id":1},{"$addToSet":{"urls":'http://www.baidu.com'}})

db.urls.update({"_id":1},{
    "$addToSet":{
        "urls":{
        "$each":[
            'http://www.baidu.com',
            'http://www.baidu.com',
            'http://www.xxxx.com'
            ]
            }
        }
    }
)

避免添加劇復：$addToSet

#一、瞭解：限制大小"$slice"，只留最後n個

db.user.update({"_id":5},{
    "$push":{"hobbies":{
        "$each":["read",'music','dancing'],
        "$slice":-2
    }
    }
})

#二、瞭解：排序The $sort element value must be either 1 or -1"
db.user.update({"_id":5},{
    "$push":{"hobbies":{
        "$each":["read",'music','dancing'],
        "$slice":-1,
        "$sort":-1
    }
    }
})

#注意：不能只將"$slice"或者"$sort"與"$push"配合使用，且必須使用"$eah"

Other

　　3.4 查：　　

# SQL：=,!=,>,<,>=,<=
# MongoDB：{key:value}表明什麼等於什麼,"$ne","$gt","$lt","gte","lte",其中"$ne"能用於全部數據類型

#一、select * from db1.user where name = "pp";
db.user.find({'name':'pp'})

#二、select * from db1.user where name != "pp";
db.user.find({'name':{"$ne":'pp'}})

#三、select * from db1.user where id > 2;
db.user.find({'_id':{'$gt':2}})

#四、select * from db1.user where id < 3;
db.user.find({'_id':{'$lt':3}})

#五、select * from db1.user where id >= 2;
db.user.find({"_id":{"$gte":2,}})

#六、select * from db1.user where id <= 2;
db.user.find({"_id":{"$lte":2}})

比較運算:"$ne","$gt","$lt","gte","lte"

# SQL：and，or，not
# MongoDB：字典中逗號分隔的多個條件是and關係，"$or"的條件放到[]內,"$not"

#一、select * from db1.user where id >= 2 and id < 4;
db.user.find({'_id':{"$gte":2,"$lt":4}})

#二、select * from db1.user where id >= 2 and age < 40;
db.user.find({"_id":{"$gte":2},"age":{"$lt":40}})

#三、select * from db1.user where id >= 5 or name = "pp";
db.user.find({
    "$or":[
        {'_id':{"$gte":5}},
        {"name":"pp"}
        ]
})

#四、select * from db1.user where id % 2=1;
db.user.find({'_id':{"$mod":[2,1]}})

#五、上題，取反
db.user.find({'_id':{"$not":{"$mod":[2,1]}}})

邏輯運算：字典中逗號分隔的多個條件是and關係，"$or"的條件放到[]內,"$not"

# SQL：in，not in
# MongoDB："$in","$nin"

#一、select * from db1.user where age in (20,30,31);
db.user.find({"age":{"$in":[20,30,31]}})

#二、select * from db1.user where name not in ('pp','nazha');
db.user.find({"name":{"$nin":['pp','nazha']}})

成員運算：$in & $nin

# SQL: regexp 正則
# MongoDB: /正則表達/i

#一、select * from db1.user where name regexp '^j.*?(g|n)$';
db.user.find({'name':/^e.*?(g|n)$/i})

正則匹配：/正則表達/i

# select name,age from db1.user where id=3;
db.user.find({'_id':3},{'_id':0,'name':1,'age':1})

獲取指定字段

#一、查看有dancing愛好的人
db.user.find({'hobbies':'dancing'})

#二、查看既有dancing愛好又有tea愛好的人
db.user.find({
    'hobbies':{
        "$all":['dancing','tea']
        }
})

#三、查看第4個愛好爲tea的人
db.user.find({"hobbies.3":'tea'})

#四、查看全部人最後兩個愛好
db.user.find({},{'hobbies':{"$slice":-2},"age":0,"_id":0,"name":0,"addr":0})

#五、查看全部人的第2個到第3個愛好
db.user.find({},{'hobbies':{"$slice":[1,2]},"age":0,"_id":0,"name":0,"addr":0})

> db.blog.find().pretty()
{
        "_id" : 1,
        "name" : "pp的女友",
        "comments" : [
                {
                        "name" : "pp",
                        "content" : "ww是誰？？？",
                        "thumb" : 200
                },
                {
                        "name" : "glm",
                        "content" : "我去，真的假的",
                        "thumb" : 10000000...
                },
                {
                        "name" : "yxx",
                        "content" : "吃喝嫖賭抽，欠下兩個億",
                        "thumb" : 40
                },
                {
                        "name" : "ff",
                        "content" : "xxx",
                        "thumb" : 0
                }
        ]
}
db.blog.find({},{'comments':{"$slice":-2}}).pretty() #查詢最後兩個
db.blog.find({},{'comments':{"$slice":[1,2]}}).pretty() #查詢1到2

查詢數組

# 排序:--1表明升序，-1表明降序
db.user.find().sort({"name":1,})
db.user.find().sort({"age":-1,'_id':1})

排序：sort

# 分頁:--limit表明取多少個document，skip表明跳過前多少個document。 
db.user.find().sort({'age':1}).limit(1).skip(2)

分頁：limit表明取多少個document，skip表明跳過前多少個document

# 獲取數量
db.user.count({'age':{"$gt":30}}) 

或者
db.user.find({'age':{"$gt":30}}).count()

獲取數量：count

#一、{'key':null} 匹配key的值爲null或者沒有這個key
db.t2.insert({'a':10,'b':111})
db.t2.insert({'a':20})
db.t2.insert({'b':null})

> db.t2.find({"b":null})
{ "_id" : ObjectId("5a5cc2a7c1b4645aad959e5a"), "a" : 20 }
{ "_id" : ObjectId("5a5cc2a8c1b4645aad959e5b"), "b" : null }

#二、查找全部
db.user.find() #等同於db.user.find({})
db.user.find().pretty()

#三、查找一個，與find用法一致，只是只取匹配成功的第一個
db.user.findOne({"_id":{"$gt":3}})

Other

4：聚合！！！

若是你有數據存儲在MongoDB中，你想作的可能就不只僅是將數據提取出來那麼簡單了；你可能但願對數據進行分析並加以利用。MongoDB提供瞭如下聚合工具：
一、聚合框架 二、MapReduce(詳見MongoDB權威指南) 三、幾個簡單聚合命令：count、distinct和group。(詳見MongoDB權威指南)

#聚合框架：
可使用多個構件建立一個管道，上一個構件的結果傳給下一個構件。
這些構件包括（括號內爲構件對應的操做符）：篩選($match)、投射($project)、分組($group)、排序($sort)、限制($limit)、跳過($skip)
不一樣的管道操做符能夠任意組合，重複使用

import datetime
from pymongo import MongoClient


# 數據準備
client = MongoClient()
table = client['db1']['emp']
l=[
('pp','male',18,'20170301','eat_god',7300.33,401,1), #如下是授業解惑的
('ww','male',78,'20150302','teacher',1000000.31,401,1),
('ff','male',81,'20130305','teacher',8300,401,1),
('wusir','male',73,'20140701','teacher',3500,401,1),
('peiqi','male',28,'20121101','teacher',2100,401,1),
('eva_jing','female',18,'20110211','teacher',9000,401,1),
('shaowei','male',18,'19000301','teacher',30000,401,1),
('gaylao','male',48,'20101111','teacher',10000,401,1),

('歪歪','female',48,'20150311','sale',3000.13,402,2),#如下是銷售部門
('丫丫','female',38,'20101101','sale',2000.35,402,2),
('丁丁','female',18,'20110312','sale',1000.37,402,2),
('星星','female',18,'20160513','sale',3000.29,402,2),
('格格','female',28,'20170127','sale',4000.33,402,2),

('張野','male',28,'20160311','operation',10000.13,403,3), #如下是運營部門
('程咬金','male',18,'19970312','operation',20000,403,3),
('程咬銀','female',18,'20130311','operation',19000,403,3),
('程咬銅','male',18,'20150411','operation',18000,403,3),
('程咬鐵','female',18,'20140512','operation',17000,403,3)
]

for n,item in enumerate(l):
    d={
        "_id":n,
        'name':item[0],
        'sex':item[1],
        'age':item[2],
        'hire_date':datetime.datetime.strptime(item[3],'%Y%m%d'),
        'post':item[4],
        'salary':item[5]
    }
    table.save(d)

# 聚合框架：
# 可使用多個構件建立一個管道，上一個構件的結果傳給下一個構件。
# 這些構件包括（括號內爲構件對應的操做符）：篩選($match)、投射($project)、分組($group)、排序($sort)、限制($limit)、跳過($skip)
# 不一樣的管道操做符能夠任意組合，重複使用



# ################################################  篩選
# {"$match":{"字段":"條件"}},可使用任何經常使用查詢操做符$gt,$lt,$in等

# select * from db1.emp where post='teacher'
# db.emp.aggregate({'$match':{'post':'teacher'}})
# """
# { "_id" : 1, "name" : "ww", "sex" : "male", "age" : 78, "hire_date" : ISODate("2015-03-02T00:00:00Z"), "post" : "teacher", "salary" : 1000000.31 }
# { "_id" : 2, "name" : "ff", "sex" : "male", "age" : 81, "hire_date" : ISODate("2013-03-05T00:00:00Z"), "post" : "teacher", "salary" : 8300 }
# { "_id" : 3, "name" : "wusir", "sex" : "male", "age" : 73, "hire_date" : ISODate("2014-07-01T00:00:00Z"), "post" : "teacher", "salary" : 3500 }
# { "_id" : 4, "name" : "peiqi", "sex" : "male", "age" : 28, "hire_date" : ISODate("2012-11-01T00:00:00Z"), "post" : "teacher", "salary" : 2100 }
# { "_id" : 5, "name" : "eva_jing", "sex" : "female", "age" : 18, "hire_date" : ISODate("2011-02-11T00:00:00Z"), "post" : "teacher", "salary" : 9000 }
# { "_id" : 6, "name" : "shaowei", "sex" : "male", "age" : 18, "hire_date" : ISODate("1900-03-01T00:00:00Z"), "post" : "teacher", "salary" : 30000 }
# { "_id" : 7, "name" : "gaylao", "sex" : "male", "age" : 48, "hire_date" : ISODate("2010-11-11T00:00:00Z"), "post" : "teacher", "salary" : 10000 }
# """

# select * from db1.emp where id > 3 group by post
db.emp.aggregate({'$match':{'_id':{'$gt':3}}},
                 {'$group':{'_id':'$post'}}
                 )
"""
{ "_id" : "sale" }
{ "_id" : "operation" }
{ "_id" : "teacher" }
"""

# select * from db1.emp where id > 3 group by post having avg(salary) > 10000;
db.emp.aggregate(
        {'$match':{'_id':{'$gt':3}}},
    {'$group':{'_id':'post','avg_salary':{'$avg':'$salary'}}},
{'$match':{'avg_salary':{'$gt':10000}}}
)

#{ "_id" : "post", "avg_salary" : 10578.685714285715 }



###############################################  投射：{"$project":{"要保留的字段名":1,"要去掉的字段名":0,"新增的字段名":"表達式"}}

#一、select name,post,(age+1) as new_age from db1.emp;
db.emp.aggregate({
    '$project':{'name':1,'post':1,
                'new_age':{'$add':['$age',1]}
                }
})

'''
{ "_id" : 0, "name" : "pp", "post" : "eat_god", "new_age" : 19 }
{ "_id" : 1, "name" : "ww", "post" : "teacher", "new_age" : 79 }
{ "_id" : 2, "name" : "ff", "post" : "teacher", "new_age" : 82 }
{ "_id" : 3, "name" : "wusir", "post" : "teacher", "new_age" : 74 }
{ "_id" : 4, "name" : "peiqi", "post" : "teacher", "new_age" : 29 }
{ "_id" : 5, "name" : "eva_jing", "post" : "teacher", "new_age" : 19 }
{ "_id" : 6, "name" : "shaowei", "post" : "teacher", "new_age" : 19 }
{ "_id" : 7, "name" : "gaylao", "post" : "teacher", "new_age" : 49 }
{ "_id" : 8, "name" : "歪歪", "post" : "sale", "new_age" : 49 }
{ "_id" : 9, "name" : "丫丫", "post" : "sale", "new_age" : 39 }
{ "_id" : 10, "name" : "丁丁", "post" : "sale", "new_age" : 19 }
{ "_id" : 11, "name" : "星星", "post" : "sale", "new_age" : 19 }
{ "_id" : 12, "name" : "格格", "post" : "sale", "new_age" : 29 }
{ "_id" : 13, "name" : "張野", "post" : "operation", "new_age" : 29 }
{ "_id" : 14, "name" : "程咬金", "post" : "operation", "new_age" : 19 }
{ "_id" : 15, "name" : "程咬銀", "post" : "operation", "new_age" : 19 }
{ "_id" : 16, "name" : "程咬銅", "post" : "operation", "new_age" : 19 }
{ "_id" : 17, "name" : "程咬鐵", "post" : "operation", "new_age" : 19 }
'''


#二、表達式之數學表達式
# {"$add":[expr1,expr2,...,exprN]} #相加
# {"$subtract":[expr1,expr2]} #第一個減第二個
# {"$multiply":[expr1,expr2,...,exprN]} #相乘
# {"$divide":[expr1,expr2]} #第一個表達式除以第二個表達式的商做爲結果
# {"$mod":[expr1,expr2]} #第一個表達式除以第二個表達式獲得的餘數做爲結果

#三、表達式之日期表達式￥year，$month，$week，$dayOfMonth，$dayOfWeek，$dayOfYear，$hour，$minute，$second
#例如：select name,date_format("%Y") as hire_year from db1.emp
db.emp.aggregate(
    {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}})
"""
> db.emp.aggregate(
...     {"$project":{"name":1,"hire_year":{"$year":"$hire_date"}}})
{ "_id" : 0, "name" : "pp", "hire_year" : 2017 }
{ "_id" : 1, "name" : "ww", "hire_year" : 2015 }
{ "_id" : 2, "name" : "ff", "hire_year" : 2013 }
{ "_id" : 3, "name" : "wusir", "hire_year" : 2014 }
{ "_id" : 4, "name" : "peiqi", "hire_year" : 2012 }
{ "_id" : 5, "name" : "eva_jing", "hire_year" : 2011 }
{ "_id" : 6, "name" : "shaowei", "hire_year" : 1900 }
{ "_id" : 7, "name" : "gaylao", "hire_year" : 2010 }
{ "_id" : 8, "name" : "歪歪", "hire_year" : 2015 }
{ "_id" : 9, "name" : "丫丫", "hire_year" : 2010 }
{ "_id" : 10, "name" : "丁丁", "hire_year" : 2011 }
{ "_id" : 11, "name" : "星星", "hire_year" : 2016 }
{ "_id" : 12, "name" : "格格", "hire_year" : 2017 }
{ "_id" : 13, "name" : "張野", "hire_year" : 2016 }
{ "_id" : 14, "name" : "程咬金", "hire_year" : 1997 }
{ "_id" : 15, "name" : "程咬銀", "hire_year" : 2013 }
{ "_id" : 16, "name" : "程咬銅", "hire_year" : 2015 }
{ "_id" : 17, "name" : "程咬鐵", "hire_year" : 2014 }
"""


# 查看每一個員工工做了多久
db.emp.aggregate(
    {'$project':{'name':1,'hire_period':{
        '$subtract':[
            {'$year':new Date()},
            {'$year':'$hire_date'}
'''
> db.emp.aggregate(
...     {'$project':{'name':1,'hire_period':{
...         '$subtract':[
...             {'$year':new Date()},
...             {'$year':'$hire_date'}
...         ]
...     }}})
{ "_id" : 0, "name" : "pp", "hire_period" : 1 }
{ "_id" : 1, "name" : "ww", "hire_period" : 3 }
{ "_id" : 2, "name" : "ff", "hire_period" : 5 }
{ "_id" : 3, "name" : "wusir", "hire_period" : 4 }
{ "_id" : 4, "name" : "peiqi", "hire_period" : 6 }
{ "_id" : 5, "name" : "eva_jing", "hire_period" : 7 }
{ "_id" : 6, "name" : "shaowei", "hire_period" : 118 }
{ "_id" : 7, "name" : "gaylao", "hire_period" : 8 }
{ "_id" : 8, "name" : "歪歪", "hire_period" : 3 }
{ "_id" : 9, "name" : "丫丫", "hire_period" : 8 }
{ "_id" : 10, "name" : "丁丁", "hire_period" : 7 }
{ "_id" : 11, "name" : "星星", "hire_period" : 2 }
{ "_id" : 12, "name" : "格格", "hire_period" : 1 }
{ "_id" : 13, "name" : "張野", "hire_period" : 2 }
{ "_id" : 14, "name" : "程咬金", "hire_period" : 21 }
{ "_id" : 15, "name" : "程咬銀", "hire_period" : 5 }
{ "_id" : 16, "name" : "程咬銅", "hire_period" : 3 }
{ "_id" : 17, "name" : "程咬鐵", "hire_period" : 4 }
'''


#四、字符串表達式
# {"$substr":[字符串/$值爲字符串的字段名,起始位置,截取幾個字節]}
# {"$concat":[expr1,expr2,...,exprN]} #指定的表達式或字符串鏈接在一塊兒返回,只支持字符串拼接
# {"$toLower":expr}
# {"$toUpper":expr

#五、邏輯表達式
# $and
# $or
# $not
# 其餘見Mongodb權威指南



#################################################  $group 分組
#        {"$group":{"_id":分組字段,"新的字段名":聚合操做符}}

#一、將分組字段傳給$group函數的_id字段便可
{"$group":{"_id":"$sex"}} #按照性別分組
{"$group":{"_id":"$post"}} #按照職位分組
{"$group":{"_id":{"state":"$state","city":"$city"}}} #按照多個字段分組，好比按照州市分組

#二、分組後聚合得結果,相似於sql中聚合函數的聚合操做符：$sum、$avg、$max、$min、$first、$last
#例1：select post,max(salary) from db1.emp group by post;
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"}}})

#例2：去每一個部門最大薪資與最低薪資
db.emp.aggregate({"$group":{"_id":"$post","max_salary":{"$max":"$salary"},"min_salary":{"$min":"$salary"}}})

#例3：若是字段是排序後的，那麼$first,$last會頗有用,比用$max和$min效率高
db.emp.aggregate({"$group":{"_id":"$post","first_id":{"$first":"$_id"}}})

#例4：求每一個部門的總工資
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":"$salary"}}})

#例5：求每一個部門的人數
db.emp.aggregate({"$group":{"_id":"$post","count":{"$sum":1}}})

#三、數組操做符
{"$addToSet":expr}：不重複
{"$push":expr}：重複
# $addToSet和$push的區別
# 該二者的功能都是給數組添加一個值。可是二者之間有區別，$addToSet要添加的值若是不存在才進行添加操做，可是push只添加一個值；例如:
#
# tags = [「tools」,」garden」]
#
# 若是執行db.collection.update({},{$push:{tag:tools}}) 結果就是 [「tools」,」garden」，「tools」]
#
# 若是執行db.collection.update({},{$addToSet:{tag:tools}}) 結果不變



#例：查詢崗位名以及各崗位內的員工姓名:select post,group_concat(name) from db1.emp group by post;
db.emp.aggregate({'$group':{'_id':'$post','names':{'$push':'$name'}}})    # GROUP_CONCAT函數返回一個字符串結果，該結果由分組中的值鏈接組合而成。

"""
> db.emp.aggregate({'$group':{'_id':'$post','names':{'$push':'$name'}}})
{ "_id" : "sale", "names" : [ "歪歪", "丫丫", "丁丁", "星星", "格格" ] }
{ "_id" : "operation", "names" : [ "張野", "程咬金", "程咬銀", "程咬銅", "程咬鐵" ] }
{ "_id" : "teacher", "names" : [ "ww", "ff", "wusir", "peiqi", "eva_jing", "shaowei", "gaylao" ] }
{ "_id" : "eat_god", "names" : [ "pp" ] }
"""

db.emp.aggregate({'$group':{'_id':'$post','names':{'$addToSet':'$name'}}})
"""
> db.emp.aggregate({'$group':{'_id':'$post','names':{'$addToSet':'$name'}}})
{ "_id" : "sale", "names" : [ "星星", "丁丁", "格格", "丫丫", "歪歪" ] }
{ "_id" : "operation", "names" : [ "程咬銅", "程咬鐵", "程咬金", "程咬銀", "張野" ] }
{ "_id" : "teacher", "names" : [ "peiqi", "eva_jing", "shaowei", "wusir", "gaylao", "ff", "ww" ] }
{ "_id" : "eat_god", "names" : [ "pp" ] }
"""



# ##########################################  排序：$sort、限制：$limit、跳過：$skip
{"$sort":{"字段名":1,"字段名":-1}} #1升序，-1降序
{"$limit":n}
{"$skip":n} #跳過多少個文檔

# 取平均工資最高的前兩個部門
db.emp.aggregate({
    '$group':{'_id':'$post','平均工資':{'$avg':'$salary'}}
},
    {'$sort':{'平均工資':-1}},
    {'$limit':2}
        )

'''
{ "_id" : "teacher", "平均工資" : 151842.90142857144 }
{ "_id" : "operation", "平均工資" : 16800.026 }
'''

#跳過一個
db.emp.aggregate(
    {'$group':{'_id':'$post','平均工資':{'$avg':'$salary'}}},
    {'$sort':{'平均工資':-1}},
    {'$limit':2},
    {'$skip':1}
)
# { "_id" : "operation", "平均工資" : 16800.026 }




# ###########################################  隨機  $sample
##集合users包含的文檔以下
{ "_id" : 1, "name" : "dave123", "q1" : true, "q2" : true }
{ "_id" : 2, "name" : "dave2", "q1" : false, "q2" : false  }
{ "_id" : 3, "name" : "ahn", "q1" : true, "q2" : true  }
{ "_id" : 4, "name" : "li", "q1" : true, "q2" : false  }
{ "_id" : 5, "name" : "annT", "q1" : false, "q2" : true  }
{ "_id" : 6, "name" : "li", "q1" : true, "q2" : true  }
{ "_id" : 7, "name" : "ty", "q1" : false, "q2" : true  }

#下述操做時從users集合中隨機選取3個文檔
# db.users.aggregate(
#    [ { $sample: { size: 3 } } ]
# )



#練習： 查詢各崗位平均薪資大於10000的崗位名、平均工資,結果按平均薪資降序排列,取前1個
db.emp.aggregate(
    {'$group':{'_id':'$post','平均工資':{'$avg':'$salary'}}},
    {'$match':{'平均工資':{'$gt':10000}}},
    {'$sort':{'平均工資':-1}},
    {'$limit':1}
)
# { "_id" : "teacher", "平均工資" : 151842.90142857144 }

聚合全部相關知識點

六：pymongo

官方文檔：http://api.mongodb.com/python/current/tutorial.html

from pymongo import MongoClient

#一、連接
client=MongoClient('mongodb://root:123@localhost:27017/')
# client = MongoClient('localhost', 27017)

#二、use 數據庫
db=client['db2'] #等同於：client.db1

#三、查看庫下全部的集合
print(db.collection_names(include_system_collections=False))

#四、建立集合
table_user=db['userinfo'] #等同於：db.user

#五、插入文檔
import datetime
user0={
    "_id":1,
    "name":"ff",
    "birth":datetime.datetime.now(),
    "age":10,
    'hobbies':['music','read','dancing'],
    'addr':{
        'country':'China',
        'city':'BJ'
    }
}

user1={
    "_id":2,
    "name":"pp",
    "birth":datetime.datetime.now(),
    "age":10,
    'hobbies':['music','read','dancing'],
    'addr':{
        'country':'China',
        'city':'weifang'
    }
}
# res=table_user.insert_many([user0,user1]).inserted_ids
# print(res)
# print(table_user.count())

#六、查找

# from pprint import pprint#格式化細
# pprint(table_user.find_one())
# for item in table_user.find():
#     pprint(item)

# print(table_user.find_one({"_id":{"$gte":1},"name":'ff'}))

#七、更新
table_user.update({'_id':1},{'name':'FF'})

#八、傳入新的文檔替換舊的文檔
table_user.save(
    {
        "_id":2,
        "name":'ff_xxx'
    }
)

pymongo

七：可視化工具

官方文檔：https://robomongo.org/

知識點本身小結（不完整）

爬蟲最經常使用的存儲庫就是Mongodb。 由於它的存儲效率比mysql要高。
lxml這個解析器，容錯性要高


MongoDB 是數據庫，非關係型數據庫。

關係型數據庫：若是要存數據，要先設計表結構，每一個字段要有本身的數據類型，而且表之間有關聯的要創建關聯。

    表與表之間，若是關係創建太多。插入數據或者刪除數據的時候，都要先操做被關聯表。
        這樣兩張表，就被強耦合在一塊。
        
        盲溝迪比MongeDB和。。。是非關係型數據庫。
        不用設計表，就是沒有表結構，全都是key：value結構。
        
        特色：
            i. 能讓應用層乾的事，就讓應用層幹。
                1) 數據庫更精簡
                2) 擴展性更強（擴展應用程序永遠比擴展數據庫要簡單的多。）
            ii.  本片文章中那張圖
            iii. 不須要建立表。
            iv. 關係型裏面的字段 就對應 非關的key
        

    你要管理哪一個庫，就要在哪一個庫下面建立帳號
    
    use adim # 進入到admin  db
    db.createUser       ： 當前的庫。
    
    在mongodb裏面，沒有數據庫被和表的命令，只有直接查數據的命令。
    
    
    
    
關於數據庫：
    造數據庫：
    use  ： 
        若有，就進入。  
        若是沒有，就建立。
            1：有數據就顯示。
            2：沒有數據，就不顯示。可是已經建立。
            
    增：
        use  db1
    改：
        有表結構的概念，纔會有改這個操做。
        在mongodb裏面，都沒有表這個東西，哪來的表操做
        
    mongodb表的概念其實就是 一個命名空間的概念。
    
    
mongodb類型：
        a. 是基於json類型，又加了幾種：
            i. 日期
                1) new Date()  當前時間
            ii. 正則
                1) //
    
    
數據集中在一臺機器上  （縱向擴展）：
    機器一旦出故障了，你就boomshakalaka了。
        ○ 安全性差
        ○ 計算速度慢

把原本一個數據庫應該乾的事，分佈出去。
可是你們乾的仍是一件事。這就減少壓力，而且不怕單擊boom。

若是兩個用戶，同時修改同一條數據：
    - 對於mysql來講，是經過加鎖時間的。
    - 在MongoDB如何保證：
        ○ ObjectId

小結

1. MongoDB_索引
2. MongoDB_排序
3. Mongodb_基礎實例
4. Mongodb_文件存儲
5. MongoDB_簡介_安裝_基本使用_js_mongoose 操做 MongoDB 編程
6. mongodb_查詢操做使用_條件查詢、where子句等(轉)
7. MongoDB_邏輯操做符
8. mongodb_導入導出數據
9. mongodb_增刪改語句
10. Mongodb_分片集羣模式
更多相關文章...
• TortoiseSVN 使用教程 - SVN 教程
• Docker 容器使用 - Docker教程
• Composer 安裝與使用
• 使用Rxjava計算圓周率

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。