redis 數據庫

時間 2019-11-19

原文原文鏈接

一簡介

redis是一個key-value存儲系統。和Memcached相似，它支持存儲的value類型相對更多，包括string(字符串)、list(鏈表)、set(集合)、zset(sorted set --有序集合)和hash（哈希類型）。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操做，並且這些操做都是原子性的。在此基礎上，redis支持各類不一樣方式的排序。與memcached同樣，爲了保證效率，數據都是緩存在內存中。區別的是redis會週期性的把更新的數據寫入磁盤或者把修改操做寫入追加的記錄文件，而且在此基礎上實現了master-slave(主從)同步redis

1. 使用Redis有哪些好處？

(1) 速度快，由於數據存在內存中，相似於HashMap，HashMap的優點就是查找和操做的時間複雜度都是O(1)

(2) 支持豐富數據類型，支持string，list，set，sorted set，hash

(3) 支持事務，操做都是原子性，所謂的原子性就是對數據的更改要麼所有執行，要麼所有不執行

(4) 豐富的特性：可用於緩存，消息，按key設置過時時間，過時後將會自動刪除


2. redis相比memcached有哪些優點？

(1) memcached全部的值均是簡單的字符串，redis做爲其替代者，支持更爲豐富的數據類型

(2) redis的速度比memcached快不少

(3) redis能夠持久化其數據


3. redis常見性能問題和解決方案：

(1) Master最好不要作任何持久化工做，如RDB內存快照和AOF日誌文件

(2) 若是數據比較重要，某個Slave開啓AOF備份數據，策略設置爲每秒同步一次

(3) 爲了主從複製的速度和鏈接的穩定性，Master和Slave最好在同一個局域網內

(4) 儘可能避免在壓力很大的主庫上增長從庫

(5) 主從複製不要用圖狀結構，用單向鏈表結構更爲穩定，即：Master <- Slave1 <- Slave2 <- Slave3...

這樣的結構方便解決單點故障問題，實現Slave對Master的替換。若是Master掛了，能夠馬上啓用Slave1作Master，其餘不變。



 

4. MySQL裏有2000w數據，redis中只存20w的數據，如何保證redis中的數據都是熱點數據

 相關知識：redis 內存數據集大小上升到必定大小的時候，就會施行數據淘汰策略。redis 提供 6種數據淘汰策略：

voltile-lru：從已設置過時時間的數據集（server.db[i].expires）中挑選最近最少使用的數據淘汰

volatile-ttl：從已設置過時時間的數據集（server.db[i].expires）中挑選將要過時的數據淘汰

volatile-random：從已設置過時時間的數據集（server.db[i].expires）中任意選擇數據淘汰

allkeys-lru：從數據集（server.db[i].dict）中挑選最近最少使用的數據淘汰

allkeys-random：從數據集（server.db[i].dict）中任意選擇數據淘汰

no-enviction（驅逐）：禁止驅逐數據

 

5. Memcache與Redis的區別都有哪些？

1)、存儲方式

Memecache把數據所有存在內存之中，斷電後會掛掉，數據不能超過內存大小。

Redis有部份存在硬盤上，這樣能保證數據的持久性。

2)、數據支持類型

Memcache對數據類型支持相對簡單。

Redis有複雜的數據類型。


3），value大小

redis最大能夠達到1GB，而memcache只有1MB



6. Redis 常見的性能問題都有哪些？如何解決？

 

1).Master寫內存快照，save命令調度rdbSave函數，會阻塞主線程的工做，當快照比較大時對性能影響是很是大的，會間斷性暫停服務，因此Master最好不要寫內存快照。


2).Master AOF持久化，若是不重寫AOF文件，這個持久化方式對性能的影響是最小的，可是AOF文件會不斷增大，AOF文件過大會影響Master重啓的恢復速度。Master最好不要作任何持久化工做，包括內存快照和AOF日誌文件，特別是不要啓用內存快照作持久化,若是數據比較關鍵，某個Slave開啓AOF備份數據，策略爲每秒同步一次。

 
3).Master調用BGREWRITEAOF重寫AOF文件，AOF在重寫的時候會佔大量的CPU和內存資源，致使服務load太高，出現短暫服務暫停現象。

4). Redis主從複製的性能問題，爲了主從複製的速度和鏈接的穩定性，Slave和Master最好在同一個局域網內




7, redis 最適合的場景


Redis最適合全部數據in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差異，那麼可能你們就會有疑問，彷佛Redis更像一個增強版的Memcached，那麼什麼時候使用Memcached,什麼時候使用Redis呢?

       若是簡單地比較Redis與Memcached的區別，大多數都會獲得如下觀點：

     1 、Redis不只僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。
     2 、Redis支持數據的備份，即master-slave模式的數據備份。
     3 、Redis支持數據的持久化，能夠將內存中的數據保持在磁盤中，重啓的時候能夠再次加載進行使用。

（1）、會話緩存（Session Cache）

最經常使用的一種使用Redis的情景是會話緩存（session cache）。用Redis緩存會話比其餘存儲（如Memcached）的優點在於：Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時，若是用戶的購物車信息所有丟失，大部分人都會不高興的，如今，他們還會這樣嗎？

幸運的是，隨着 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來緩存會話的文檔。甚至廣爲人知的商業平臺Magento也提供Redis的插件。

（2）、全頁緩存（FPC）

除基本的會話token以外，Redis還提供很簡便的FPC平臺。回到一致性問題，即便重啓了Redis實例，由於有磁盤的持久化，用戶也不會看到頁面加載速度的降低，這是一個極大改進，相似PHP本地FPC。

再次以Magento爲例，Magento提供一個插件來使用Redis做爲全頁緩存後端。

此外，對WordPress的用戶來講，Pantheon有一個很是好的插件  wp-redis，這個插件能幫助你以最快速度加載你曾瀏覽過的頁面。

（3）、隊列

Reids在內存存儲引擎領域的一大優勢是提供 list 和 set 操做，這使得Redis能做爲一個很好的消息隊列平臺來使用。Redis做爲隊列使用的操做，就相似於本地程序語言（如Python）對 list 的 push/pop 操做。

若是你快速的在Google中搜索「Redis queues」，你立刻就能找到大量的開源項目，這些項目的目的就是利用Redis建立很是好的後端工具，以知足各類隊列需求。例如，Celery有一個後臺就是使用Redis做爲broker，你能夠從這裏去查看。

（4），排行榜/計數器

Redis在內存中對數字進行遞增或遞減的操做實現的很是好。集合（Set）和有序集合（Sorted Set）也使得咱們在執行這些操做的時候變的很是簡單，Redis只是正好提供了這兩種數據結構。因此，咱們要從排序集合中獲取到排名最靠前的10個用戶–咱們稱之爲「user_scores」，咱們只須要像下面同樣執行便可：

固然，這是假定你是根據你用戶的分數作遞增的排序。若是你想返回用戶及用戶的分數，你須要這樣執行：

ZRANGE user_scores 0 10 WITHSCORES

Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來存儲數據的，你能夠在這裏看到。

（5）、發佈/訂閱

最後（但確定不是最不重要的）是Redis的發佈/訂閱功能。發佈/訂閱的使用場景確實很是多。我已看見人們在社交網絡鏈接中使用，還可做爲基於發佈/訂閱的腳本觸發器，甚至用Redis的發佈/訂閱功能來創建聊天系統！（不，這是真的，你能夠去核實）。

Redis提供的全部特性中，我感受這個是喜歡的人最少的一個，雖然它爲用戶提供若是此多功能。

View Code

支持的數據類型（5大數據類型）django

string list set zset hash

redis={
        k1:'123',      字符串
        k2:[1,2,3,4],   列表/數組
        k3:{1,2,3,4}     集合
        k4:{name:lqz,age:12}  字典/哈希表
        k5:{('lqz',18),('egon',33)}  有序集合
}

特色：後端

能夠持久化
單線程，單進程

安裝和使用：數組

安裝模塊：pip3 intall redis緩存

from redis import Redis
from redis import ConnectionPool

Redis實例化產生對象，就是拿到一個redis的鏈接網絡

conn=Redis()

操做redis(value部分都是以byte格式存儲)session

ret=conn.get('name')
 print(ret)

redis鏈接池
pool須要作成單例數據結構

 pool=ConnectionPool(host='127.0.0.1',port=6379,max_connections=100)
 conn=Redis(connection_pool=pool)
 print(conn.get('name'))


添加數據

conn.set('age',20)


獲取數據

ret=conn.get('age')
print(ret)


設置數據，多少秒後刪除（k,s,v）

conn.setex('xxx',5, 'ppp')


批量設置（傳字典）
mset(已存在鍵值會覆蓋)

conn.mset({'name':'wy','age':20,'height':180})


批量獲取
mget

print(conn.mget(['name','height']))


從某個位置開始，有隻則覆蓋，無值則追加

conn.setrange('name',1,'xx')


incr 自增（文章閱讀數，網站訪問量的統計）

conn.incr('age',amount=2)


decr 自減

conn.decr(name='age',amount=2)


append 無則新建，有則追加

conn.append('name','hhhhh')


hash操做

hset 無則添加，有則修改

conn.hset('hash1','k1','value1')

 批量設置

conn.hmset('hash2',{'name':'qlz','age':18})

取值

print(conn.hget('hash1','k1'))

批量取值

print(conn.hmget('hash2',['name','age']))
print(conn.hmget('hash2','name','age'))

取所有

print(conn.hgetall('hash2')[b'name'])

字段條數

print(conn.hlen('hash1'))

刪除

conn.hdel('hash1','k1')

自增

conn.hincrby('hash1','age',amount=1)


重點： hscan 、hscan_iter

for i in range(10000):
    conn.hset('hash3','key%s'%i,'value%s'%i)

從0開始取一百位

print(conn.hscan('hash3',0,count=100))


hscan_iter:獲取字典全部數據的時候，推薦用這個，而不用 hgetall

print(conn.hscan_iter('hash3'))
for i in conn.hgetall('hash3'):
    print(i)

for i in conn.hscan_iter('hash3',100):
     print(i)


redis之列表操做

加在第一個位置

conn.lpush('list1','13')

加在最後一個位置

conn.rpush('list1','11')

表的數據條數

print(conn.llen('list1'))

找到的第一個12的前面插入999

conn.linsert('list1','BEFORE',12,999)

找到的第一個12的後面插入666

conn.linsert('list1','AFTER',12,666)

從0開始,第五位插入

conn.lset('list1','4',123)

刪除第幾個值爲多少的元素

conn.lrem('list1',1,12)

根據索引取值

print(conn.lindex('list1',11))

1,3 先後都是閉區間

print(conn.lrange('list1',1,3))

blpop 重點掌握
刪除並返回刪除的值

print(conn.lpop('list1'))

沒有值能夠阻塞住，能夠實現分佈式

print(conn.blpop('list1'))

# 沒有值時不手動結束，會一直在這等到有值再運行




獲取列表中全部值：

for i in range(1000):
    conn.lpush('list1',i)
print(conn.lrange('list1',0,conn.llen('list1')))
def scan_list(name,count=10):
    index=0
    while True:
        data_list=conn.lrange(name,index,count+index-1)
        if not data_list:
            return
        index+=count
        for item in data_list:
            yield item
print(conn.lrange('list1',0,100))
print('------')
for item in scan_list('list1',5):
    print('---')
    print(item)

 刪除age

conn.delete('age')

判斷k1是否存在，返回1 or 0

print(conn.exists('k1'))

單個字符匹配

print(conn.keys('k?'))

模糊匹配（h開頭）

print(conn.keys('h*'))

重命名

conn.rename('hash1','xxx')

print(conn.type('list1'))

在django中使用redisapp

方式一dom

新建一個py文件，在視圖類中導入

utils>redis_pool:

import redis
Pool=redis.ConnectionPool(host='127.0.0.1',port=6379,max_connections=100)

views:

from django.shortcuts import render,HttpResponse

# Create your views here.
from redis import Redis
from utils.redis_pool import Pool
conn=Redis(connection_pool=Pool)
def index(request):
    ret=conn.get('name')
    print(ret)
    return HttpResponse('ok')

方式二：

在setting中配置

　　安裝django-redis模塊

　　pip3 install django-redis

　　setting裏配置：

# redis配置
CACHES = {
    "default": {
        "BACKEND": "django_redis.cache.RedisCache",
        "LOCATION": "redis://127.0.0.1:6379",
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
            "CONNECTION_POOL_KWARGS": {"max_connections": 100}
            # "PASSWORD": "123",
        }
    }
}

views:

from django_redis import get_redis_connection
conn = get_redis_connection('default')
print(conn.hgetall('xxx'))

管道

redis-py默認在執行每次請求都會建立（鏈接池申請鏈接）和斷開（歸還鏈接池）一次鏈接操做，若是想要在一次請求中指定多個命令，則可使用pipline實現一次請求指定多個命令，而且默認狀況下一次pipline 是原子性操做。

import redis
 
pool = redis.ConnectionPool(host='10.211.55.4', port=6379)
 
r = redis.Redis(connection_pool=pool)
 
# pipe = r.pipeline(transaction=False)
pipe = r.pipeline(transaction=True)
pipe.multi()
pipe.set('name', 'alex')
pipe.set('role', 'sb')
 
pipe.execute()