緩存數據庫

緩存數據庫

NoSQL(NoSQL = Not Only SQL)，意即泛指非關係型數據庫，（關係型數據庫mysql，sqlite，oracle，即存在強烈的數據關係），是對不一樣於傳統的關係型數據庫的數據庫管理系統的統稱。NoSQL用於超大規模數據的存儲。（例如谷歌或Facebook天天爲他們的用戶收集萬億比特的數據）。這些類型的數據存儲不須要固定的模式，無需多餘操做就能夠橫向擴展。

SNS 指社交網絡 social network society

NoSQL數據庫的四大類別

1. 鍵值（Key-Value）存儲數據

   這一類數據庫主要會使用到喲個哈希表，這個表中有一個特定的鍵和一個指針指向特定的數據。Key/values模型對於IT系統來叔的優點在於簡單、一部書。可是若是DBA只對部分值進行查詢或更新的時候，Key/values的方法效率低

2. 列存儲數據：大數據用的多

   這部分數據庫一般是用來應對分佈式存儲的海量數據。鍵仍然存在，可是它們的特色是指向了多個列。這些列是由列組來安排的

3. 文檔型數據庫

   文檔型數據庫的靈感是來自於Lotus Note辦公軟件的，並且它同第一種鍵值存儲相相似。該類型的數據模型是版本化的文檔，半結構化的文檔以特定的格式存儲。文檔型數據庫能夠當作是鍵值數據庫的升級版，容許之間嵌套鍵值。並且文檔型數據庫比鍵值型數據庫的查詢效率更高

4. 圖形（Graph）數據庫

   圖形結構的數據庫同其餘行列以及剛性結構的SQL數據庫不一樣，它是使用靈活的圖形模型，而且可以擴展到多個服務器上。NoSQL數據庫沒有標準的查詢語言(SQL)，所以進行數據庫查詢須要制定數據模型。許多NoSQL數據庫都有REST式的數據接口或者查詢API。

總結：NoSQL數據庫在如下的這幾種狀況下比較適用：一、數據模型比較簡單；二、須要靈活性更強的IT系統；三、對數據庫性能要求較高；四、不須要高度的數據一致性；五、對於給定key，比較容易映射覆雜值的環境。

Redis緩存數據庫：把數據存在內存中

redis的做用就是共享內存數據，並且redis比字典強大不少

Linux操做系統有七個終端，單原則上能夠開啓無限個終端，只要系統夠強。

Redis下載與安裝

1.下載壓縮文件：wget -c http://download.redis.io/releases/redis-4.0.6.tar.gz
2.解壓壓縮包：tar -zxvf redis-4.0.6.tar.gz
3.安裝到固定的文件夾中：make PREFIX=/opt/redis409 install

redis的基本使用命令

redis的啓動命令 redis-server

查看是否啓動redis命令，查看端口6379是否被redis-server使用：ps -ef |grep redis

進入客戶端操做命令：redis-cli 退出命令：shutdown

Redis API使用

redis-py 的API的使用能夠分類爲：

• 鏈接方式
• 鏈接池
• 操做
  • String操做
  • Hash操做
  • Set操做
  • Sort Set 操做
• 管道
• 發佈訂閱

redis的操做

help + 操做命令能夠查看使用方式

1.String 字符操做：

redis中的String在內存中按照一個name對應一個value來存儲。

name          value
n1   -------> v1
n2   -------> v2
n3   -------> v3

進入數據庫：redis-cli

設置name：set name eric # name爲鍵 ，eric是值

獲取name值：get name

修改name值：set name jing #直接在值的位置寫要修改的值就OK了

獲取全部的鍵：keys *

set（name，value，ex=None，px=None，nx=Flase，xx=False）參數設置：

​ ex，過時時間（秒）

​ px，過時時間（毫秒）

​ nx，若是設置爲True，則只有name不存在，當前set操做才執行

​ xx，若是設置爲True，則只有name存在時，當前set操做才執行

setnx（name，value）：設置值，只有name不存在時，執行設置操做（添加）

setex(name, value, time)：過時時間（數字秒 或 timedelta對象）

psetex(name,time_ms,value)：

mset（*args，**kwargs）批量設置值：批量設置值

​ mset（'k1' : 'v1', 'k2' : 'v2'）或rget（{ 'k1' : 'v1' , 'k2' : 'v2' }）

get(name):獲取值

mget（keys，*args）：批量獲取值

getset（name,value）參數：沒有就設置，有就獲取（設置新值並獲取原來的值）

getrange（key,start,end）參數：執行切片操做

setrange（key,offset,value）參數：修改字符串內容，從指定字符串索引開始向後替換（新值太長時，則向後添加）

setbit（name, offset, value）：對name對應值的二進制表示的位進行操做

getbit (name，offset）：獲取name對應的值的二進制表示中的某位的值 （0或1）

bitcount(key, start=None, end=None)：# 獲取name對應的值的二進制表示中 1 的個數

strlen(name)：返回name對應值的字節長度（一個漢字3個字節）

incr(self, name, amount=1)：自增 name對應的值，當name不存在時，則建立name＝amount，不然，則自增。

incrbyfloat(self, name, amount=1.0)：自增 name對應的值，當name不存在時，則建立name＝amount，不然，則自增。（浮點型）

decr(self, name, amount=1)：# 自減 name對應的值，當name不存在時，則建立name＝amount，不然，則自減。

append(key, value)：在redis name對應的值後面追加內容

2.Hash 哈希操做

hash表現形式上有些像python中的dict，能夠存儲一組相關聯性較強的數據，redis中Hash在內存中的存儲形式

name              hash
n1   -----------> k1->v1
                  k2->v2
                  k3->v3
n2   -----------> k9->v99
                  kx->vx

hset(name, key, value)：# name對應的hash中設置一個鍵值對（不存在，則建立；不然，修改）

hmset (name, mapping)：# 在name對應的hash中批量設置鍵值對

hget (name, key): # 在name對應的hash中獲取根據key獲取value

hmget(name, keys, *args)：# 在name對應的hash中獲取多個key的值

hkeys (name)：# 獲取name對應的hash中全部的key的值

hgetall(name)：#獲取name對應hash的全部鍵值

hlen(name)：# 獲取name對應的hash中鍵值對的個數

hvals(name)：# 獲取name對應的hash中全部的value的值

hexists(name, key)：# 檢查name對應的hash是否存在當前傳入的key

hdel(name,*keys)：# 將name對應的hash中指定key的鍵值對刪除

hincrby(name, key, amount=1)：# 自增name對應的hash中的指定key的值，不存在則建立key=amount

hincrbyfloat(name, key, amount=1.0)：# 自增name對應的hash中的指定key的值，不存在則建立key=amount

hscan(name, cursor=0, match=None, count=None)：增量式迭代獲取，對於數據大的數據很是有用，hscan能夠實現分片的獲取數據，並不是一次性將數據所有獲取完，從而放置內存被撐爆

hscan_iter(name, match=None, count=None)：# 利用yield封裝hscan建立生成器，實現分批去redis中獲取數據

3.list 列表操做

List操做，redis中的List在在內存中按照一個name對應一個List來存儲。

name        list
n1   -----> [v1,v2,...]
n2   -----> [v2,v33,...]

lpush(name,values)：# 在name對應的list中添加元素，每一個新的元素都添加到列表的最左邊

lpushx(name,value)：# 在name對應的list中添加元素，只有name已經存在時，值添加到列表的最左邊

rpushx(name, value)：# 表示從右向左操做

llen(name)：# name對應的list元素的個數

linsert(name, where, refvalue, value))：# 在name對應的列表的某一個值前或後插入一個新值

r.lset(name, index, value)：# 對name對應的list中的某一個索引位置從新賦值

r.lrem(name, value, num)：# 在name對應的list中刪除指定的值

lpop(name)：# 在name對應的列表的左側獲取第一個元素並在列表中移除，返回值則是第一個元素

lindex(name, index)：在name對應的列表中根據索引獲取列表元素

lrange(name, start, end)：# 在name對應的列表分片獲取數據

ltrim(name, start, end)：# 在name對應的列表中移除沒有在start-end索引之間的值

rpoplpush(src, dst)：# 從一個列表取出最右邊的元素，同時將其添加至另外一個列表的最左邊

blpop(keys, timeout)：# 將多個列表排列，按照從左到右去pop對應列表的元素

brpoplpush(src, dst, timeout=0)：# 從一個列表的右側移除一個元素並將其添加到另外一個列表的左側

4.set集合操做

Set操做，Set集合就是不容許重複的列表

sadd(name,values)：# name對應的集合中添加元素

scard(name)：# 獲取name對應的集合中元素個數

sdiff(keys, *args)：# 在第一個name對應的集合中且不在其餘name對應的集合的元素集合

sdiffstore(dest, keys, *args)：# 獲取第一個name對應的集合中且不在其餘name對應的集合，再將其新加入到dest對應的集合中

sinter(keys, *args)：# 獲取多一個name對應集合的並集

sinterstore(dest, keys, *args)：# 獲取多一個name對應集合的並集，再講其加入到dest對應的集合中

sismember(name, value)：# 檢查value是不是name對應的集合的成員

smembers(name)：# 獲取name對應的集合的全部成員

smove(src, dst, value)：# 將某個成員從一個集合中移動到另一個集合

spop(name)：# 從集合的右側（尾部）移除一個成員，並將其返回

srandmember(name, numbers)：# 從name對應的集合中隨機獲取 numbers 個元素

srem(name, values)：# 在name對應的集合中刪除某些值

sunion(keys, *args)：# 獲取多一個name對應的集合的並集

sunionstore(dest,keys, *args)：# 獲取多一個name對應的集合的並集，並將結果保存到dest對應的集合中

sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操做，用於增量迭代分批獲取元素，避免內存消耗太大

有序集合，在集合的基礎上，爲每元素排序；元素的排序須要根據另一個值來進行比較，因此，對於有序集合，每個元素有兩個值，即：值和分數，分數專門用來作排序。

zadd(name, *args, **kwargs)：# 在name對應的有序集合中添加元素

zcard(name)：# 獲取name對應的有序集合元素的數量

zcount(name, min, max)：# 獲取name對應的有序集合中分數 在 [min,max] 之間的個數

zincrby(name, value, amount)：# 自增name對應的有序集合的 name 對應的分數

r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)：# 按照索引範圍獲取name對應的有序集合的元素

zrank(name, value)：# 獲取某個值在 name對應的有序集合中的排行（從 0 開始）

zrem(name, values)：# 刪除name對應的有序集合中值是values的成員

zremrangebyrank(name, min, max)：# 根據排行範圍刪除

zremrangebyscore(name, min, max)：# 根據分數範圍刪除

zscore(name, value)：# 獲取name對應有序集合中 value 對應的分數

zinterstore(dest, keys, aggregate=None)：# 獲取兩個有序集合的交集，若是遇到相同值不一樣分數，則按照aggregate進行操做

zunionstore(dest, keys, aggregate=None)：# 獲取兩個有序集合的並集，若是遇到相同值不一樣分數，則按照aggregate進行操做

zscan(name, cursor=0, match=None, count=None, score_cast_func=float)
zscan_iter(name, match=None, count=None,score_cast_func=float)
# 同字符串類似，相較於字符串新增score_cast_func，用來對分數進行操做

其餘經常使用操做

delete(*names)：# 根據刪除redis中的任意數據類型

exists(name)：# 檢測redis的name是否存在

keys(pattern='*')：# 根據模型獲取redis的name

expire(name ,time)：# 爲某個redis的某個name設置超時時間

rename(src, dst)：# 對redis的name重命名爲

move(name, db))：# 將redis的某個值移動到指定的db下

randomkey()：# 隨機獲取一個redis的name（不刪除）

type(name)：# 獲取name對應值的類型

scan(cursor=0, match=None, count=None)
scan_iter(match=None, count=None)
# 同字符串操做，用於增量迭代獲取key

鏈接方式

一、操做模式

redis-py提供兩個類Redis和StrictRedis用於實現Redis的命令，StrictRedis用於實現大部分官方的命令，並使用官方的語法和命令，Redis是StrictRedis的子類，用於向後兼容舊版本的redis-py。

import redis
r = redis.Redis(host='10.211.55.4', port=6379)
r.set('foo', 'Bar')
print r.get('foo')

二、鏈接池

redis-py使用connection pool來管理對一個redis server的全部鏈接，避免每次創建、釋放鏈接的開銷。默認，每一個Redis實例都會維護一個本身的鏈接池。能夠直接創建一個鏈接池，而後做爲參數Redis，這樣就能夠實現多個Redis實例共享一個鏈接池。