nosql--redis

時間  2019-11-14
標籤 nosql redis 欄目 NoSQL 简体版
原文   原文鏈接

什麼是nosql？

nosql是非關係型數據庫。之因此有這種數據庫的產生就是在彌補mysql的缺點：關係固定，不容修改結構，查詢速度緩慢等。javascript

分類：鍵值存儲數據庫，列存儲數據庫，文檔型數據庫，圖形數據庫。java

redis

屬於鍵值數據庫，和Memcached相似，它支持存儲的value類型相對更多，包括string(字符串)、list(列表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。原生支持發佈訂閱（微博）。python

Redis優勢

  • 異常快速 : Redis是很是快的，每秒能夠執行大約110000設置操做，81000個/每秒的讀取操做。mysql

  • 支持豐富的數據類型 : Redis支持最大多數開發人員已經知道如列表，集合，可排序集合，哈希等數據類型。redis

    這使得在應用中很容易解決的各類問題，由於咱們知道哪些問題處理使用哪一種數據類型更好解決。

  • 操做都是原子的 : 全部 Redis 的操做都是原子，從而確保當兩個客戶同時訪問 Redis 服務器獲得的是更新後的值（最新值）。sql

  • MultiUtility工具：Redis是一個多功能實用工具，能夠在不少如：緩存，消息傳遞隊列中使用（Redis原生支持發佈/訂閱），在應用程序中，如：Web應用程序會話，網站頁面點擊數等任何短暫的數據；

windows上使用redis

在進入的redis目錄中，運行cmd或者cd進入後執行 redis-server.exe redis.windows.conf 後顯示服務已經啓動端口號等。而後再打開一個cmd後執行redis-cil.exe後進入界面。數據庫

操做

 

1. String操做

redis中的String在在內存中按照一個name對應一個value來存儲。如圖：windows

set(name, value, ex=None, px=None, nx=False, xx=False)緩存

1
2
3
4
5
6
在Redis中設置值，默認，不存在則建立，存在則修改
參數：
      ex，過時時間（秒）
      px，過時時間（毫秒）
      nx，若是設置爲True，則只有name不存在時，當前set操做才執行
      xx，若是設置爲True，則只有name存在時，崗前set操做才執行

setnx(name, value)服務器

1
設置值，只有name不存在時，執行設置操做（添加）

setex(name, value, time)

1
2
3
# 設置值
# 參數：
     # time，過時時間（數字秒 或 timedelta對象）

 

 

psetex(name, time_ms, value)

1
2
3
# 設置值
# 參數：
     # time_ms，過時時間（數字毫秒 或 timedelta對象）

mset(*args, **kwargs)

1
2
3
4
5
批量設置值
如：
     mset(k1= 'v1' , k2= 'v2' )
     或
     mget({ 'k1' :  'v1' ,  'k2' :  'v2' })

get(name)

1
獲取值

mget(keys, *args)

1
2
3
4
5
批量獲取
如：
     mget( 'ylr' ,  'wupeiqi' )
     或
     r.mget([ 'ylr' ,  'wupeiqi' ])

getset(name, value)

1
設置新值並獲取原來的值

getrange(key, start, end)

1
2
3
4
5
6
# 獲取子序列（根據字節獲取，非字符）
# 參數：
     # name，Redis 的 name
     # start，起始位置（字節）
     # end，結束位置（字節）
# 如： "武沛齊" ，0-3表示 "武"

setrange(name, offset, value)

1
2
3
4
# 修改字符串內容，從指定字符串索引開始向後替換（新值太長時，則向後添加）
# 參數：
     # offset，字符串的索引，字節（一個漢字三個字節）
     # value，要設置的值

setbit(name, offset, value)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
# 對name對應值的二進制表示的位進行操做
 
# 參數：
     # name，redis的name
     # offset，位的索引（將值變換成二進制後再進行索引）
     # value，值只能是 1 或 0
 
# 注：若是在Redis中有一個對應： n1 = "foo"，
         那麼字符串foo的二進制表示爲： 01100110  01101111  01101111
     因此，若是執行 setbit( 'n1' ,  7 ,  1 )，則就會將第 7 位設置爲 1 ，
         那麼最終二進制則變成  01100111  01101111  01101111 ，即： "goo"
 
# 擴展，轉換二進制表示：
 
     # source = "武沛齊"
     source  =  "foo"
 
     for  i  in  source:
         num  =  ord (i)
         print  bin (num).replace( 'b' ,'')
 
     特別的，若是source是漢字  "武沛齊" 怎麼辦？
     答：對於utf - 8 ，每個漢字佔  3  個字節，那麼  "武沛齊"  則有  9 個字節
        對於漢字， for 循環時候會按照 字節 迭代，那麼在迭代時，將每個字節轉換 十進制數，而後再將十進制數轉換成二進制
         11100110  10101101  10100110  11100110  10110010  10011011  11101001  10111101  10010000
         - - - - - - - - - - - - - - - - - - - - - - - - - -  - - - - - - - - - - - - - - - - - - - - - - - - - - - - -  - - - - - - - - - - - - - - - - - - - - - - - - - - - - -
                     武                         沛                           齊

*用途舉例，用最省空間的方式，存儲在線用戶數及分別是哪些用戶在線

 

getbit(name, offset)

1
# 獲取name對應的值的二進制表示中的某位的值 （0或1）

bitcount(key, start=None, end=None)

1
2
3
4
5
# 獲取name對應的值的二進制表示中 1 的個數
# 參數：
     # key，Redis的name
     # start，位起始位置
     # end，位結束位置

strlen(name)

1
# 返回name對應值的字節長度（一個漢字3個字節）

incr(self, name, amount=1)

1
2
3
4
5
6
7
# 自增 name對應的值，當name不存在時，則建立name＝amount，不然，則自增。
 
# 參數：
     # name,Redis的name
     # amount,自增數（必須是整數）
 
# 注：同incrby

incrbyfloat(self, name, amount=1.0)

1
2
3
4
5
# 自增 name對應的值，當name不存在時，則建立name＝amount，不然，則自增。
 
# 參數：
     # name,Redis的name
     # amount,自增數（浮點型）

decr(self, name, amount=1)

1
2
3
4
5
# 自減 name對應的值，當name不存在時，則建立name＝amount，不然，則自減。
 
# 參數：
     # name,Redis的name
     # amount,自減數（整數）

append(key, value)

1
2
3
4
5
# 在redis name對應的值後面追加內容
 
# 參數：
     key, redis的name
     value, 要追加的字符串

　　

2. Hash操做

hash表現形式上有些像pyhton中的dict,能夠存儲一組關聯性較強的數據 ， redis中Hash在內存中的存儲格式以下圖：　　

 

hset(name, key, value)

1
2
3
4
5
6
7
8
9
# name對應的hash中設置一個鍵值對（不存在，則建立；不然，修改）
 
# 參數：
     # name，redis的name
     # key，name對應的hash中的key
     # value，name對應的hash中的value
 
# 注：
     # hsetnx(name, key, value),當name對應的hash中不存在當前key時則建立（至關於添加）

hmset(name, mapping)

1
2
3
4
5
6
7
8
# 在name對應的hash中批量設置鍵值對
 
# 參數：
     # name，redis的name
     # mapping，字典，如：{'k1':'v1', 'k2': 'v2'}
 
# 如：
     # r.hmset('xx', {'k1':'v1', 'k2': 'v2'})

hget(name,key)

1
# 在name對應的hash中獲取根據key獲取value

hmget(name, keys, *args)

1
2
3
4
5
6
7
8
9
10
11
# 在name對應的hash中獲取多個key的值
 
# 參數：
     # name，reids對應的name
     # keys，要獲取key集合，如：['k1', 'k2', 'k3']
     # *args，要獲取的key，如：k1,k2,k3
 
# 如：
     # r.mget('xx', ['k1', 'k2'])
     # 或
     # print r.hmget('xx', 'k1', 'k2')

hgetall(name)

1
獲取name對應 hash 的全部鍵值

hlen(name)

1
# 獲取name對應的hash中鍵值對的個數

hkeys(name)

1
# 獲取name對應的hash中全部的key的值

hvals(name)

1
# 獲取name對應的hash中全部的value的值

hexists(name, key)

1
# 檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys)

1
# 將name對應的hash中指定key的鍵值對刪除

hincrby(name, key, amount=1)

1
2
3
4
5
# 自增name對應的hash中的指定key的值，不存在則建立key=amount
# 參數：
     # name，redis中的name
     # key， hash對應的key
     # amount，自增數（整數）

hincrbyfloat(name, key, amount=1.0)

1
2
3
4
5
6
7
8
# 自增name對應的hash中的指定key的值，不存在則建立key=amount
 
# 參數：
     # name，redis中的name
     # key， hash對應的key
     # amount，自增數（浮點數）
 
# 自增name對應的hash中的指定key的值，不存在則建立key=amount

hscan(name, cursor=0, match=None, count=None)

Start a full hash scan with:

HSCAN myhash 0

Start a hash scan with fields matching a pattern with:

HSCAN myhash 0 MATCH order_*

Start a hash scan with fields matching a pattern and forcing the scan command to do more scanning with:

HSCAN myhash 0 MATCH order_* COUNT 1000

 

1
2
3
4
5
6
7
8
9
10
11
12
13
# 增量式迭代獲取，對於數據大的數據很是有用，hscan能夠實現分片的獲取數據，並不是一次性將數據所有獲取完，從而放置內存被撐爆
 
# 參數：
     # name，redis的name
     # cursor，遊標（基於遊標分批取獲取數據）
     # match，匹配指定key，默認None 表示全部的key
     # count，每次分片最少獲取個數，默認None表示採用Redis的默認分片個數
 
# 如：
     # 第一次：cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None)
     # 第二次：cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None)
     # ...
     # 直到返回值cursor的值爲0時，表示數據已經經過分片獲取完畢

 

hscan_iter(name, match=None, count=None)

1
2
3
4
5
6
7
8
9
# 利用yield封裝hscan建立生成器，實現分批去redis中獲取數據
  
# 參數：
     # match，匹配指定key，默認None 表示全部的key
     # count，每次分片最少獲取個數，默認None表示採用Redis的默認分片個數
  
# 如：
     # for item in r.hscan_iter('xx'):
     #     print item

 

3. list

List操做，redis中的List在在內存中按照一個name對應一個List來存儲。如圖：　　

lpush(name,values)

1
2
3
4
5
6
7
8
# 在name對應的list中添加元素，每一個新的元素都添加到列表的最左邊
 
# 如：
     # r.lpush('oo', 11,22,33)
     # 保存順序爲: 33,22,11
 
# 擴展：
     # rpush(name, values) 表示從右向左操做

lpushx(name,value)

1
2
3
4
# 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊
 
# 更多：
     # rpushx(name, value) 表示從右向左操做

llen(name)

1
# name對應的list元素的個數

linsert(name, where, refvalue, value))

1
2
3
4
5
6
7
# 在name對應的列表的某一個值前或後插入一個新值
 
# 參數：
     # name，redis的name
     # where，BEFORE或AFTER
     # refvalue，標杆值，即：在它先後插入數據
     # value，要插入的數據

r.lset(name, index, value)

1
2
3
4
5
6
# 對name對應的list中的某一個索引位置從新賦值
 
# 參數：
     # name，redis的name
     # index，list的索引位置
     # value，要設置的值

r.lrem(name, value, num)

1
2
3
4
5
6
7
8
# 在name對應的list中刪除指定的值
 
# 參數：
     # name，redis的name
     # value，要刪除的值
     # num，  num=0，刪除列表中全部的指定值；
            # num=2,從前到後，刪除2個；
            # num=-2,從後向前，刪除2個

lpop(name)

1
2
3
4
# 在name對應的列表的左側獲取第一個元素並在列表中移除，返回值則是第一個元素
 
# 更多：
     # rpop(name) 表示從右向左操做

lindex(name, index)

1
在name對應的列表中根據索引獲取列表元素

lrange(name, start, end)

1
2
3
4
5
# 在name對應的列表分片獲取數據
# 參數：
     # name，redis的name
     # start，索引的起始位置
     # end，索引結束位置

ltrim(name, start, end)

1
2
3
4
5
# 在name對應的列表中移除沒有在start-end索引之間的值
# 參數：
     # name，redis的name
     # start，索引的起始位置
     # end，索引結束位置

rpoplpush(src, dst)

1
2
3
4
# 從一個列表取出最右邊的元素，同時將其添加至另外一個列表的最左邊
# 參數：
     # src，要取數據的列表的name
     # dst，要添加數據的列表的name

blpop(keys, timeout)

1
2
3
4
5
6
7
8
# 將多個列表排列，按照從左到右去pop對應列表的元素
 
# 參數：
     # keys，redis的name的集合
     # timeout，超時時間，當元素全部列表的元素獲取完以後，阻塞等待列表內有數據的時間（秒）, 0 表示永遠阻塞
 
# 更多：
     # r.brpop(keys, timeout)，從右向左獲取數據

brpoplpush(src, dst, timeout=0)

1
2
3
4
5
6
# 從一個列表的右側移除一個元素並將其添加到另外一個列表的左側
 
# 參數：
     # src，取出並要移除元素的列表對應的name
     # dst，要插入元素的列表對應的name
     # timeout，當src對應的列表中沒有數據時，阻塞等待其有數據的超時時間（秒），0 表示永遠阻塞

 

4.set集合操做

Set操做，Set集合就是不容許重複的列表

sadd(name,values)

1
# name對應的集合中添加元素

scard(name)

1
獲取name對應的集合中元素個數

sdiff(keys, *args)

1
在第一個name對應的集合中且不在其餘name對應的集合的元素集合

sdiffstore(dest, keys, *args)

1
# 獲取第一個name對應的集合中且不在其餘name對應的集合，再將其新加入到dest對應的集合中

sinter(keys, *args)

1
# 獲取多一個name對應集合的並集

sinterstore(dest, keys, *args)

1
# 獲取多一個name對應集合的並集，再講其加入到dest對應的集合中

sismember(name, value)

1
# 檢查value是不是name對應的集合的成員

smembers(name)

1
# 獲取name對應的集合的全部成員

smove(src, dst, value)

1
# 將某個成員從一個集合中移動到另一個集合

spop(name)

1
# 從集合的右側（尾部）移除一個成員，並將其返回

srandmember(name, numbers)

1
# 從name對應的集合中隨機獲取 numbers 個元素

srem(name, values)

1
# 在name對應的集合中刪除某些值

sunion(keys, *args)

1
# 獲取多一個name對應的集合的並集

sunionstore(dest,keys, *args)

1
# 獲取多一個name對應的集合的並集，並將結果保存到dest對應的集合中

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)

1
# 同字符串的操做，用於增量迭代分批獲取元素，避免內存消耗太大

 

有序集合，在集合的基礎上，爲每元素排序；元素的排序須要根據另一個值來進行比較，因此，對於有序集合，每個元素有兩個值，即：值和分數，分數專門用來作排序。

zadd(name, *args, **kwargs)

1
2
3
4
5
# 在name對應的有序集合中添加元素
# 如：
      # zadd('zz', 'n1', 1, 'n2', 2)
      # 或
      # zadd('zz', n1=11, n2=22)

zcard(name)

1
# 獲取name對應的有序集合元素的數量

zcount(name, min, max)

1
# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數

zincrby(name, value, amount)

1
# 自增name對應的有序集合的 name 對應的分數

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 按照索引範圍獲取name對應的有序集合的元素
 
# 參數：
     # name，redis的name
     # start，有序集合索引發始位置（非分數）
     # end，有序集合索引結束位置（非分數）
     # desc，排序規則，默認按照分數從小到大排序
     # withscores，是否獲取元素的分數，默認只獲取元素的值
     # score_cast_func，對分數進行數據轉換的函數
 
# 更多：
     # 從大到小排序
     # zrevrange(name, start, end, withscores=False, score_cast_func=float)
 
     # 按照分數範圍獲取name對應的有序集合的元素
     # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float)
     # 從大到小排序
     # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)

zrank(name, value)

1
2
3
4
# 獲取某個值在 name對應的有序集合中的排行（從 0 開始）
 
# 更多：
     # zrevrank(name, value)，從大到小排序

 

zrem(name, values)

1
2
3
# 刪除name對應的有序集合中值是values的成員
 
# 如：zrem('zz', ['s1', 's2'])

zremrangebyrank(name, min, max)

1
# 根據排行範圍刪除

zremrangebyscore(name, min, max)

1
# 根據分數範圍刪除

 

zscore(name, value)

1
# 獲取name對應有序集合中 value 對應的分數

zinterstore(dest, keys, aggregate=None)

1
2
# 獲取兩個有序集合的交集，若是遇到相同值不一樣分數，則按照aggregate進行操做
# aggregate的值爲:  SUM  MIN  MAX

zunionstore(dest, keys, aggregate=None)

1
2
# 獲取兩個有序集合的並集，若是遇到相同值不一樣分數，則按照aggregate進行操做
# aggregate的值爲:  SUM  MIN  MAX

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)

1
# 同字符串類似，相較於字符串新增score_cast_func，用來對分數進行操做

 

 

其餘經常使用操做

delete(*names)

1
# 根據刪除redis中的任意數據類型

exists(name)

1
# 檢測redis的name是否存在

keys(pattern='*')

1
2
3
4
5
6
7
# 根據模型獲取redis的name
 
# 更多：
     # KEYS * 匹配數據庫中全部 key 。
     # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。
     # KEYS h*llo 匹配 hllo 和 heeeeello 等。
     # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo

expire(name ,time)

1
# 爲某個redis的某個name設置超時時間

rename(src, dst)

1
# 對redis的name重命名爲

move(name, db))

1
# 將redis的某個值移動到指定的db下

randomkey()

1
# 隨機獲取一個redis的name（不刪除）

type(name)

1
# 獲取name對應值的類型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)

1
# 同字符串操做，用於增量迭代獲取key

 

 

管道

redis-py默認在執行每次請求都會建立（鏈接池申請鏈接）和斷開（歸還鏈接池）一次鏈接操做，若是想要在一次請求中指定多個命令，則可使用pipline實現一次請求指定多個命令，而且默認狀況下一次pipline 是原子性操做。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
import  redis
 
pool  =  redis.ConnectionPool(host = '10.211.55.4' , port = 6379 )
 
r  =  redis.Redis(connection_pool = pool)
 
# pipe = r.pipeline(transaction=False)
pipe  =  r.pipeline(transaction = True )
 
pipe. set ( 'name' ,  'alex' )
pipe. set ( 'role' ,  'sb' )
 
pipe.execute()

 

 

發佈訂閱

發佈者：服務器

訂閱者：Dashboad和數據處理

Demo以下：

  redis helper

訂閱者：

1
2
3
4
5
6
7
8
9
10
11
#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
from  monitor.RedisHelper  import  RedisHelper
 
obj  =  RedisHelper()
redis_sub  =  obj.subscribe()
 
while  True :
     msg =  redis_sub.parse_response()
     print  msg

發佈者：

1
2
3
4
5
6
7
#!/usr/bin/env python
# -*- coding:utf-8 -*-
 
from  monitor.RedisHelper  import  RedisHelper
 
obj  =  RedisHelper()
obj.public( 'hello' )
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程