MongoDB API和python操做

時間 2019-11-24

標籤 mongodb api python 欄目 MongoDB 简体版

原文原文鏈接

安裝

下載mongodb的版本，兩點注意
- 根據業界規則，偶數爲穩定版，如1.6.X，奇數爲開發版，如1.7.X
- 32bit的mongodb最大隻能存放2G的數據，64bit就沒有限制
到官網，選擇合適的版本下載
解壓 tar -zxvf mongodb-linux-x86_64-ubuntu1604-3.4.0.tgz

移動到/usr/local/目錄下 sudo mv -r mongodb-linux-x86_64-ubuntu1604-3.4.0/ /usr/local/mongodb

將可執行文件添加到PATH路徑中 export PATH=/usr/local/mongodb/bin:$PATH

管理mongo

配置文件在/etc/mongod.conf
默認端口27017python
啓動 sudo service mongod startlinux

中止 sudo service mongod stop

使用終端鏈接
這個shell就是mongodb的客戶端，同時也是一個js的編譯器 mongo

命令

db查看當前數據庫名稱
db.stats()查看當前數據庫信息

終端退出鏈接

exit
或ctrl+c

GUI：robomongo，解壓後在bin目錄下找到運行程序

數據庫切換

查看當前數據庫名稱 --db

查看全部數據庫名稱
列出全部在物理上存在的數據庫 --show dbs

切換數據庫
若是數據庫不存在，則指向數據庫，但不建立，直到插入數據或建立集合時數據庫才被建立 --use 數據庫名稱

默認的數據庫爲test，若是你沒有建立新的數據庫，集合將存放在test數據庫中

數據庫刪除

刪除當前指向的數據庫
若是數據庫不存在，則什麼也不作 --db.dropDatabase()

集合建立

語法 --db.createCollection(name, options)

name是要建立的集合的名稱
options是一個文檔，用於指定集合的配置
選項參數是可選的，因此只須要到指定的集合名稱。如下是可使用的選項列表：
例1：不限制集合大小 --db.createCollection("stu")

例2：限制集合大小，後面學會插入語句後能夠查看效果
參數capped：默認值爲false表示不設置上限，值爲true表示設置上限
參數size：當capped值爲true時，須要指定此參數，表示上限大小，當文檔達到上限時，會將以前的數據覆蓋，單位爲字節

db.createCollection("sub", { capped : true, size : 10 } )

查看當前數據庫的集合

語法 --show collections

刪除

語法 --db.集合名稱.drop()

數據類型

下表爲MongoDB中經常使用的幾種數據類型：
Object ID：文檔ID
String：字符串，最經常使用，必須是有效的UTF-8
Boolean：存儲一個布爾值，true或false
Integer：整數能夠是32位或64位，這取決於服務器
Double：存儲浮點值
Arrays：數組或列表，多個值存儲到一個鍵
Object：用於嵌入式的文檔，即一個值爲一個文檔
Null：存儲Null值
Timestamp：時間戳
Date：存儲當前日期或時間的UNIX時間格式

object id

每一個文檔都有一個屬性，爲_id，保證每一個文檔的惟一性
能夠本身去設置_id插入文檔
若是沒有提供，那麼MongoDB爲每一個文檔提供了一個獨特的_id，類型爲objectID
objectID是一個12字節的十六進制數
- 前4個字節爲當前時間戳
- 接下來3個字節的機器ID
- 接下來的2個字節中MongoDB的服務進程id
- 最後3個字節是簡單的增量值

插入

語法

db.集合名稱.insert(document)

插入文檔時，若是不指定_id參數，MongoDB會爲文檔分配一個惟一的ObjectId
例1

db.stu.insert({name:'gj',gender:1})

例2

s1={_id:'20160101',name:'hr'}
s1.gender=0
db.stu.insert(s1)

簡單查詢

語法

db.集合名稱.find()

更新

語法

db.集合名稱.update(
   <query>,
   <update>,
   {multi: <boolean>}
)

參數query:查詢條件，相似sql語句update中where部分
參數update:更新操做符，相似sql語句update中set部分
參數multi:可選，默認是false，表示只更新找到的第一條記錄，值爲true表示把知足條件的文檔所有更新
例3：全文檔更新

db.stu.update({name:'hr'},{name:'mnc'})

例4：指定屬性更新，經過操做符$set

db.stu.insert({name:'hr',gender:0})
db.stu.update({name:'hr'},{$set:{name:'hys'}})

例5：修改多條匹配到的數據

db.stu.update({},{$set:{gender:0}},{multi:true})

保存

語法

db.集合名稱.save(document)

若是文檔的_id已經存在則修改，若是文檔的_id不存在則添加web
例6正則表達式

db.stu.save({_id:'20160102','name':'yk',gender:1})

例7

db.stu.save({_id:'20160102','name':'wyk'})

刪除

語法

db.集合名稱.remove(
   <query>,
   {
     justOne: <boolean>
   }
)

參數query:可選，刪除的文檔的條件
參數justOne:可選，若是設爲true或1，則只刪除一條，默認false，表示刪除多條
例8：只刪除匹配到的第一條 db.stu.remove({gender:0},{justOne:true})

例9：所有刪除 db.stu.remove({})

關於size的示例

例10
建立集合 db.createCollection('sub',{capped:true,size:10})

插入第一條數據庫查詢

db.sub.insert({title:'linux',count:10})
db.sub.find()

插入第二條數據庫查詢

db.sub.insert({title:'web',count:15})
db.sub.find()

插入第三條數據庫查詢

db.sub.insert({title:'sql',count:8})
db.sub.find()

插入第四條數據庫查詢

db.sub.insert({title:'django',count:12})
db.sub.find()

插入第五條數據庫查詢



db.sub.insert({title:'python',count:14})
db.sub.find()

數據查詢

基本查詢

方法find()：查詢 db.集合名稱.find({條件文檔})

方法findOne()：查詢，只返回第一個 db.集合名稱.findOne({條件文檔})

方法pretty()：將結果格式化 db.集合名稱.find({條件文檔}).pretty()

比較運算符

等於，默認是等於判斷，沒有運算符
小於$lt
小於或等於$lte
大於$gt
大於或等於$gte
不等於$ne
例1：查詢名稱等於'gj'的學生 db.stu.find({name:'gj'})

例2：查詢年齡大於或等於18的學生 db.stu.find({age:{$gte:18}})

邏輯運算符

查詢時能夠有多個條件，多個條件之間須要經過邏輯運算符鏈接
邏輯與：默認是邏輯與的關係
例3：查詢年齡大於或等於18，而且性別爲1的學生 --db.stu.find({age:{$gte:18},gender:1})

邏輯或：使用$or
例4：查詢年齡大於18，或性別爲0的學生 --db.stu.find({$or:[{age:{$gt:18}},{gender:1}]})

and和or一塊兒使用
例5：查詢年齡大於18或性別爲0的學生，而且學生的姓名爲gj ---db.stu.find({$or:[{age:{$gte:18}},{gender:1}],name:'gj'})

範圍運算符

使用"$in"，"$nin" 判斷是否在某個範圍內
例6：查詢年齡爲1八、28的學生 --db.stu.find({age:{$in:[18,28]}})

支持正則表達式

使用//或$regex編寫正則表達式
例7：查詢姓黃的學生

db.stu.find({name:/^黃/})
db.stu.find({name:{$regex:'^黃'}}})

自定義查詢

使用$where後面寫一個函數，返回知足條件的數據
例7：查詢年齡大於30的學生 --db.stu.find({$where:function(){return this.age>20}})

Limit

方法limit()：用於讀取指定數量的文檔
語法： --db.集合名稱.find().limit(NUMBER)

參數NUMBER表示要獲取文檔的條數
若是沒有指定參數則顯示集合中的全部文檔
例1：查詢2條學生信息 --db.stu.find().limit(2)

skip

方法skip()：用於跳過指定數量的文檔
語法： db.集合名稱.find().skip(NUMBER)

參數NUMBER表示跳過的記錄條數，默認值爲0
例2：查詢從第3條開始的學生信息 db.stu.find().skip(2)

一塊兒使用

方法limit()和skip()能夠一塊兒使用，不分前後順序sql
建立數據集 --for(i=0;i<15;i++){db.t1.insert({_id:i})}mongodb

查詢第5至8條數據

db.stu.find().limit(4).skip(5)
或
db.stu.find().skip(5).limit(4)

投影

在查詢到的返回結果中，只選擇必要的字段，而不是選擇一個文檔的整個字段
如：一個文檔有5個字段，須要顯示只有3個，投影其中3個字段便可
語法：
參數爲字段與值，值爲1表示顯示，值爲0不顯示 db.集合名稱.find({},{字段名稱:1,...})

對於須要顯示的字段，設置爲1便可，不設置即爲不顯示
特殊：對於_id列默認是顯示的，若是不顯示須要明確設置爲0
例1 db.stu.find({},{name:1,gender:1})

例2 db.stu.find({},{_id:0,name:1,gender:1})

排序

方法sort()，用於對結果集進行排序
語法 db.集合名稱.find().sort({字段:1,...})

參數1爲升序排列
參數-1爲降序排列
例1：根據性別降序，再根據年齡升序 db.stu.find().sort({gender:-1,age:1})

統計個數

方法count()用於統計結果集中文檔條數
語法 db.集合名稱.find({條件}).count()

也能夠與爲 db.集合名稱.count({條件})

例1：統計男生人數 db.stu.find({gender:1}).count()

例2：統計年齡大於20的男生人數 db.stu.count({age:{$gt:20},gender:1})

消除重複

方法distinct()對數據進行去重
語法 db.集合名稱.distinct('去重字段',{條件})

例1:查找年齡大於18的性別（去重） db.stu.distinct('gender',{age:{$gt:18}})

聚合 aggregate

聚合(aggregate)主要用於計算數據，相似sql中的sum()、avg()
語法 db.集合名稱.aggregate([{管道:{表達式}}])

管道

管道在Unix和Linux中通常用於將當前命令的輸出結果做爲下一個命令的輸入 ps ajx | grep mongo

在mongodb中，管道具備一樣的做用，文檔處理完畢後，經過管道進行下一次處理
經常使用管道
- $group：將集合中的文檔分組，可用於統計結果
- $match：過濾數據，只輸出符合條件的文檔
- $project：修改輸入文檔的結構，如重命名、增長、刪除字段、建立計算結果
- $sort：將輸入文檔排序後輸出
- $limit：限制聚合管道返回的文檔數
- $skip：跳過指定數量的文檔，並返回餘下的文檔
- $unwind：將數組類型的字段進行拆分

表達式

處理輸入文檔並輸出
語法 表達式:'$列名'

經常使用表達式
- $sum：計算總和，$sum:1同count表示計數
- $avg：計算平均值
- $min：獲取最小值
- $max：獲取最大值
- $push：在結果文檔中插入值到一個數組中
- $first：根據資源文檔的排序獲取第一個文檔數據
- $last：根據資源文檔的排序獲取最後一個文檔數據

$group

將集合中的文檔分組，可用於統計結果
_id表示分組的依據，使用某個字段的格式爲'$字段'
例1：統計男生、女生的總人數

db.stu.aggregate([
    {$group:
        {
            _id:'$gender',
            counter:{$sum:1}
        }
    }
])

Group by null

將集合中全部文檔分爲一組
例2：求學生總人數、平均年齡

db.stu.aggregate([
    {$group:
        {
            _id:null,
            counter:{$sum:1},
            avgAge:{$avg:'$age'}
        }
    }
])

透視數據

例3：統計學生性別及學生姓名

db.stu.aggregate([
    {$group:
        {
            _id:'$gender',
            name:{$push:'$name'}
        }
    }
])

使用$$ROOT能夠將文檔內容加入到結果集的數組中，代碼以下

db.stu.aggregate([
    {$group:
        {
            _id:'$gender',
            name:{$push:'$$ROOT'}
        }
    }
])

$match

用於過濾數據，只輸出符合條件的文檔
使用MongoDB的標準查詢操做
例1：查詢年齡大於20的學生

db.stu.aggregate([
    {$match:{age:{$gt:20}}}
])

例2：查詢年齡大於20的男生、女生人數

db.stu.aggregate([
    {$match:{age:{$gt:20}}},
    {$group:{_id:'$gender',counter:{$sum:1}}}
])

$project

修改輸入文檔的結構，如重命名、增長、刪除字段、建立計算結果
例1：查詢學生的姓名、年齡

db.stu.aggregate([
    {$project:{_id:0,name:1,age:1}}
])

例2：查詢男生、女生人數，輸出人數

db.stu.aggregate([
    {$group:{_id:'$gender',counter:{$sum:1}}},
    {$project:{_id:0,counter:1}}
])

$sort

將輸入文檔排序後輸出
例1：查詢學生信息，按年齡升序

b.stu.aggregate([{$sort:{age:1}}])

例2：查詢男生、女生人數，按人數降序

db.stu.aggregate([
    {$group:{_id:'$gender',counter:{$sum:1}}},
    {$sort:{counter:-1}}
])

$limit

限制聚合管道返回的文檔數
例1：查詢2條學生信息

db.stu.aggregate([{$limit:2}])

$skip

跳過指定數量的文檔，並返回餘下的文檔
例2：查詢從第3條開始的學生信息

db.stu.aggregate([{$skip:2}])

例3：統計男生、女生人數，按人數升序，取第二條數據

db.stu.aggregate([
    {$group:{_id:'$gender',counter:{$sum:1}}},
    {$sort:{counter:1}},
    {$skip:1},
    {$limit:1}
])

注意順序：先寫skip，再寫limit

$unwind

將文檔中的某一個數組類型字段拆分紅多條，每條包含數組中的一個值

語法1

對某字段值進行拆分

db.集合名稱.aggregate([{$unwind:'$字段名稱'}])

構造數據

db.t2.insert({_id:1,item:'t-shirt',size:['S','M','L']})

查詢

db.t2.aggregate([{$unwind:'$size'}])

語法2

對某字段值進行拆分
處理空數組、非數組、無字段、null狀況

db.inventory.aggregate([{
    $unwind:{
        path:'$字段名稱',
        preserveNullAndEmptyArrays:<boolean>#防止數據丟失
    }
}])

構造數據

db.t3.insert([
{ "_id" : 1, "item" : "a", "size": [ "S", "M", "L"] },
{ "_id" : 2, "item" : "b", "size" : [ ] },
{ "_id" : 3, "item" : "c", "size": "M" },
{ "_id" : 4, "item" : "d" },
{ "_id" : 5, "item" : "e", "size" : null }
])

使用語法1查詢

db.t3.aggregate([{$unwind:'$size'}])

查看查詢結果，發現對於空數組、無字段、null的文檔，都被丟棄了
問：如何能不丟棄呢？
答：使用語法2查詢



db.t3.aggregate([{$unwind:{path:'$sizes',preserveNullAndEmptyArrays

與python交互

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import pymongo
import datetime


def get_db():
    # 創建鏈接
    client = pymongo.MongoClient(host="10.244.25.180", port=27017)
    db = client['example']
    #或者 db = client.example
    return db


def get_collection(db):
    # 選擇集合（mongo中collection和database都是延時建立的）
    coll = db['informations']
    print db.collection_names()
    return coll


def insert_one_doc(db):
    # 插入一個document
    coll = db['informations']
    information = {"name": "quyang", "age": "25"}
    information_id = coll.insert(information)
    print information_id


def insert_multi_docs(db):
    # 批量插入documents,插入一個數組
    coll = db['informations']
    information = [{"name": "xiaoming", "age": "25"}, {"name": "xiaoqiang", "age": "24"}]
    information_id = coll.insert(information)
    print information_id


def get_one_doc(db):
    # 有就返回一個，沒有就返回None
    coll = db['informations']
    print coll.find_one()  # 返回第一條記錄
    print coll.find_one({"name": "quyang"})
    print coll.find_one({"name": "none"})


def get_one_by_id(db):
    # 經過objectid來查找一個doc
    coll = db['informations']
    obj = coll.find_one()
    obj_id = obj["_id"]
    print "_id 爲ObjectId類型，obj_id:" + str(obj_id)

    print coll.find_one({"_id": obj_id})
    # 須要注意這裏的obj_id是一個對象，不是一個str，使用str類型做爲_id的值沒法找到記錄
    print "_id 爲str類型 "
    print coll.find_one({"_id": str(obj_id)})
    # 能夠經過ObjectId方法把str轉成ObjectId類型
    from bson.objectid import ObjectId

    print "_id 轉換成ObjectId類型"
    print coll.find_one({"_id": ObjectId(str(obj_id))})


def get_many_docs(db):
    # mongo中提供了過濾查找的方法，能夠經過各類條件篩選來獲取數據集，還能夠對數據進行計數，排序等處理
    coll = db['informations']
    #ASCENDING = 1 升序;DESCENDING = -1降序;default is ASCENDING
    for item in coll.find().sort("age", pymongo.DESCENDING):
        print item

    count = coll.count()
    print "集合中全部數據 %s個" % int(count)

    #條件查詢
    count = coll.find({"name":"quyang"}).count()
    print "quyang: %s"%count

def clear_all_datas(db):
    #清空一個集合中的全部數據
    db["informations"].remove()

if __name__ == '__main__':
    db = get_db()
    my_collection = get_collection(db)
    post = {"author": "Mike", "text": "My first blog post!", "tags": ["mongodb", "python", "pymongo"],
            "date": datetime.datetime.utcnow()}
    # 插入記錄
    my_collection.insert(post)
    insert_one_doc(db)
    # 條件查詢
    print my_collection.find_one({"x": "10"})
    # 查詢表中全部的數據
    for iii in my_collection.find():
        print iii
    print my_collection.count()
    my_collection.update({"author": "Mike"},
                         {"author": "quyang", "text": "My first blog post!", "tags": ["mongodb", "python", "pymongo"],
                          "date": datetime.datetime.utcnow()})
    for jjj in my_collection.find():
        print jjj
    get_one_doc(db)
    get_one_by_id(db)
    get_many_docs(db)
    # clear_all_datas(db)

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。