Redis知識總結

時間 2019-11-15

標籤 redis 知識總結欄目 Redis 简体版

原文原文鏈接

Redis介紹
Redis 本質上一個 Key/Value 數據庫，與 Memcached相似的 NoSQL 型數據庫，可是他的數據能夠持久化的保存在磁盤上，解決了服務重啓後數據不丟失的問題，他的值能夠是 string（字符串）、list（列表）、sets（集合）或者是ordered sets（被排序的集合），全部的數據類型都具備push/pop、 add/remove、執行服務端的並集、交集、兩個 sets 集中的差異等等操做，這些操做都是具備原子性的， Redis 還支持各類不一樣的排序能力。Redis 2.0更是增長了不少新特性，如：提高了性能、增長了新的數據類型、更少的利用內存（ AOF 和 VM）

Redis支持絕大部分主流的開發語言，如： C、Java、 C＃、 PHP、Perl、 Python、 Lua、Erlang、Ruby等等php

redis 性能：
根據 Redis 官方的測試結果：在50 個併發的狀況下請求 10w 次，寫的速度是 110000
次/s，讀的速度是81000 次/s
測試環境：
1. 50 個併發，請求 100000 次
2. 讀和寫大小爲 256bytes 的字符串
3. Linux2.6 Xeon X3320 2.5GHz 的服務器上
html

4.經過本機的 loopback interface接口上執行

Redis的功能：
1、 Redis 的 Sharding：Redis 支持客戶端的 Sharding 功能，經過一致性 hash 算法實現，當前 Redis不支持故障冗餘，在集羣中不能在線增長或刪除 Redis
2、 Redis 的 master/slave 複製：
1. 一個 master 支持多個 slave
2. Slave 能夠接受其餘slave 的鏈接來替代他鏈接 master
3. 複製在 master 是非阻塞的，而在 slave是阻塞的
4. 複製被利用來提供可擴展性，在 slave 端只提供查詢功能及數據的冗餘
3、 Redis 的 Virtual Memory功能： vm 是 Redis2.0 新增的一個很是穩定和可靠的功能，vm的引入是爲了提升 Redis 的性能，也就是把不多使用的 value 保存到 disk，而 key 保存在內存中。實際上就是若是你有 10w 的 keys 在內存中，而只有僅僅 10%左右的 key 常用，那麼 Redis 能夠經過開啓 VM 嘗試將不常用的Value 轉換到 disk 上保存。
4、 Redis 的附加檔案（ AOF）功能：Redis 經過配置的策略將數據集保存到aof 中，當
Redis 掛掉後可以經過 aof 恢復到掛掉前的狀態java

我的總結：python

redis特色： mysql

in_memory高速讀存 git

持久化（存到硬盤） github

主從（藉助於sentinel實現必定意義上的HA）面試

Clustering（分佈式）redis

redis與Memcached的區別：
redis的優點：

1.豐富的操做（Hashs，Lists，Sets，Hyperlog等）算法

2.內建replication及cluster

3.就地更新

4.支持持久化（防止崩盤效應）

memcached的優點：

1.多線程

2.更少的內存開銷

3.更少的內存分配壓力

4.更少的內存碎片

Redis是如何完成事務的？

將一個或多個命令歸併爲一個操做，提交後，按照順序進行；不支持回滾

Redis實現持久化

Redis提供了多種不一樣級別的持久化方式：
• RDB 持久化能夠在指定的時間間隔內生成數據集的時間點快照（ point-in-time snapshot）。
• AOF持久化記錄服務器執行的全部寫操做命令，並在服務器啓動時，經過從新執行這些命令來還原數據集。AOF 文件中的命令所有以 Redis 協議的格式來保存，新命令會被追加到文件的末尾。 Redis 還能夠在後臺對 AOF 文件進行重寫（ rewrite），使得AOF 文件的體積不會超出保存數據集狀態所需的實際大小。
• Redis 還能夠同時使用 AOF 持久化和 RDB 持久化。在這種狀況下，當 Redis 重啓時，它會優先使用AOF 文件來還原數據集，由於 AOF 文件保存的數據集一般比 RDB 文件所保存的數據集更完整。
• 你甚至能夠關閉持久化功能，讓數據只在服務器運行時存在。瞭解 RDB 持久化和 AOF 持久化之間的異同是很是重要的，如下幾個小節將詳細地介紹這這兩種持久化功能，並對它們的相同和不一樣之處進行說明。

RDB的優勢
• RDB 是一個很是緊湊（ compact）的文件，它保存了Redis 在某個時間點上的數據集。這種文件很是
適合用於進行備份：好比說，你能夠在最近的 24 小時內，每小時備份一次 RDB 文件，而且在每月
的每一天，也備份一個 RDB 文件。這樣的話，即便趕上問題，也能夠隨時將數據集還原到不一樣的版
本。
• RDB 很是適用於災難恢復（ disaster recovery）：它只有一個文件，而且內容都很是緊湊，能夠（在加
密後）將它傳送到別的數據中心，或者亞馬遜 S3 中。
• RDB 能夠最大化 Redis 的性能：父進程在保存 RDB 文件時惟一要作的就是 fork 出一個子進程，然
後這個子進程就會處理接下來的全部保存工做，父進程無須執行任何磁盤 I/O 操做。
• RDB 在恢復大數據集時的速度比 AOF 的恢復速度要快。

RDB的缺點
• 若是你須要儘可能避免在服務器故障時丟失數據，那麼 RDB 不適合你。雖然 Redis 容許你設置不一樣的保存點（ save point）來控制保存RDB 文件的頻率，可是，由於 RDB 文件須要保存整個數據集的狀態，因此它並非一個輕鬆的操做。所以你可能會至少 5 分鐘才保存一次 RDB 文件。在這種狀況下，一旦發生故障停機，你就可能會丟失好幾分鐘的數據。
• 每次保存 RDB 的時候，Redis 都要 fork() 出一個子進程，並由子進程來進行實際的持久化工做。在數據集比較龐大時，fork()可能會很是耗時，形成服務器在某某毫秒內中止處理客戶端；若是數據集很是巨大，而且CPU 時間很是緊張的話，那麼這種中止時間甚至可能會長達整整一秒。雖然 AOF 重寫也須要進行 fork() ，但不管 AOF 重寫的執行間隔有多長，數據的耐久性都不會有任何損失。

AOF的優勢
• 使用 AOF 持久化會讓 Redis 變得很是耐久（ much more durable）：你能夠設置不一樣的fsync 策略，好比無 fsync ，每秒鐘一次 fsync ，或者每次執行寫入命令時 fsync 。 AOF 的默認策略爲每秒鐘fsync 一次，在這種配置下，Redis 仍然能夠保持良好的性能，而且就算髮生故障停機，也最多隻會丟失一秒鐘的數據（ fsync 會在後臺線程執行，因此主線程能夠繼續努力地處理命令請求）。
• AOF 文件是一個只進行追加操做的日誌文件（ append only log），所以對AOF 文件的寫入不須要進行 seek ，即便日誌由於某些緣由而包含了未寫入完整的命令（好比寫入時磁盤已滿，寫入中途停機，等等），redis-check-aof工具也能夠輕易地修復這種問題。
• Redis 能夠在 AOF 文件體積變得過大時，自動地在後臺對 AOF 進行重寫：重寫後的新 AOF 文件包含了恢復當前數據集所需的最小命令集合。整個重寫操做是絕對安全的，由於 Redis 在建立新 AOF文件的過程當中，會繼續將命令追加到現有的 AOF 文件裏面，即便重寫過程當中發生停機，現有的 AOF文件也不會丟失。而一旦新 AOF 文件建立完畢，Redis就會從舊 AOF 文件切換到新 AOF 文件，並開始對新 AOF 文件進行追加操做。
• AOF 文件有序地保存了對數據庫執行的全部寫入操做，這些寫入操做以 Redis 協議的格式保存，所以 AOF 文件的內容很是容易被人讀懂，對文件進行分析（ parse）也很輕鬆。導出（export）AOF 文件也很是簡單：舉個例子，若是你不當心執行了FLUSHALL命令，但只要 AOF 文件未被重寫，那麼只要中止服務器，移除 AOF 文件末尾的FLUSHALL命令，並重啓 Redis ，就能夠將數據集恢復到FLUSHALL執行以前的狀態。

AOF的缺點
• 對於相同的數據集來講，AOF 文件的體積一般要大於 RDB 文件的體積。
• 根據所使用的 fsync 策略，AOF 的速度可能會慢於 RDB 。在通常狀況下，每秒 fsync 的性能依然很是高，而關閉 fsync 可讓 AOF 的速度和 RDB 同樣快，即便在高負荷之下也是如此。不過在處理巨大的寫入載入時，RDB 能夠提供更有保證的最大延遲時間（ latency）。
• AOF 在過去曾經發生過這樣的 bug ：由於個別命令的緣由，致使 AOF 文件在從新載入時，沒法將數據集恢復成保存時的原樣。（舉個例子，阻塞命令BRPOPLPUSH就曾經引發過這樣的 bug 。）測試套件裏爲這種狀況添加了測試：它們會自動生成隨機的、複雜的數據集，並經過從新載入這些數據來確保一切正常。雖然這種bug 在 AOF 文件中並不常見，可是對比來講，RDB 幾乎是不可能出現這種bug 的。

Redis的複製：

一個Master能夠有多個Slave

支持鏈式複製

Master以非阻塞方式同步數據至slave

Redis的sentinel：

用於管理多個redis服務實現HA

監控、通知、自動故障轉移

流言協議、投票協議

Clustering：集羣

分佈式數據庫，經過分片機制進行數據分析，Clustering內的每一個節點僅存數據庫的一部分數據。

每一個節點持有全局元數據，但只有部分數據。

redis面試總結

1. 使用Redis有哪些好處？

(1) 速度快，由於數據存在內存中，相似於HashMap，HashMap的優點就是查找和操做的時間複雜度都是O(1)

(2) 支持豐富數據類型，支持string，list，set，sorted set，hash

(3) 支持事務，操做都是原子性，所謂的原子性就是對數據的更改要麼所有執行，要麼所有不執行

(4) 豐富的特性：可用於緩存，消息，按key設置過時時間，過時後將會自動刪除

2. redis相比memcached有哪些優點？

(1) memcached全部的值均是簡單的字符串，redis做爲其替代者，支持更爲豐富的數據類型

(2) redis的速度比memcached快不少

(3) redis能夠持久化其數據

3. redis常見性能問題和解決方案：

(1) Master最好不要作任何持久化工做，如RDB內存快照和AOF日誌文件

(2) 若是數據比較重要，某個Slave開啓AOF備份數據，策略設置爲每秒同步一次

(3) 爲了主從複製的速度和鏈接的穩定性，Master和Slave最好在同一個局域網內

(4) 儘可能避免在壓力很大的主庫上增長從庫

(5) 主從複製不要用圖狀結構，用單向鏈表結構更爲穩定，即：Master <- Slave1 <- Slave2 <- Slave3…

這樣的結構方便解決單點故障問題，實現Slave對Master的替換。若是Master掛了，能夠馬上啓用Slave1作Master，其餘不變。

http://blog.csdn.NET/guchuanyun111/article/category/6335900

（1）什麼是redis?

Redis 是一個基於內存的高性能key-value數據庫。 (有空再補充，有理解錯誤或不足歡迎指正)

（2）Reids的特色

Redis本質上是一個Key-Value類型的內存數據庫，很像memcached，整個數據庫通通加載在內存當中進行操做，按期經過異步操做把數據庫數據flush到硬盤上進行保存。由於是純內存操做，Redis的性能很是出色，每秒能夠處理超過 10萬次讀寫操做，是已知性能最快的Key-Value DB。
Redis的出色之處不只僅是性能，Redis最大的魅力是支持保存多種數據結構，此外單個value的最大限制是1GB，不像 memcached只能保存1MB的數據，所以Redis能夠用來實現不少有用的功能，比方說用他的List來作FIFO雙向鏈表，實現一個輕量級的高性能消息隊列服務，用他的Set能夠作高性能的tag系統等等。另外Redis也能夠對存入的Key-Value設置expire時間，所以也能夠被看成一個功能增強版的memcached來用。
Redis的主要缺點是數據庫容量受到物理內存的限制，不能用做海量數據的高性能讀寫，所以Redis適合的場景主要侷限在較小數據量的高性能操做和運算上。

（3）Redis支持的數據類型

Redis經過Key-Value的單值不一樣類型來區分, 如下是支持的類型:
Strings
Lists
Sets 求交集、並集
Sorted Set
hashes

（4）爲何redis須要把全部數據放到內存中？

Redis爲了達到最快的讀寫速度將數據都讀到內存中，並經過異步的方式將數據寫入磁盤。因此redis具備快速和數據持久化的特徵。若是不將數據放在內存中，磁盤I/O速度爲嚴重影響redis的性能。在內存愈來愈便宜的今天，redis將會愈來愈受歡迎。
若是設置了最大使用的內存，則數據已有記錄數達到內存限值後不能繼續插入新值。

（5）Redis是單進程單線程的

redis利用隊列技術將併發訪問變爲串行訪問，消除了傳統數據庫串行控制的開銷

（6）虛擬內存

當你的key很小而value很大時,使用VM的效果會比較好.由於這樣節約的內存比較大.
當你的key不小時,能夠考慮使用一些很是方法將很大的key變成很大的value,好比你能夠考慮將key,value組合成一個新的value.
vm-max-threads這個參數,能夠設置訪問swap文件的線程數,設置最好不要超過機器的核數,若是設置爲0,那麼全部對swap文件的操做都是串行的.可能會形成比較長時間的延遲,可是對數據完整性有很好的保證.

本身測試的時候發現用虛擬內存性能也不錯。若是數據量很大，能夠考慮分佈式或者其餘數據庫

（7）分佈式

redis支持主從的模式。原則：Master會將數據同步到slave，而slave不會將數據同步到master。Slave啓動時會鏈接master來同步數據。

這是一個典型的分佈式讀寫分離模型。咱們能夠利用master來插入數據，slave提供檢索服務。這樣能夠有效減小單個機器的併發訪問數量

（8）讀寫分離模型

經過增長Slave DB的數量，讀的性能能夠線性增加。爲了不Master DB的單點故障，集羣通常都會採用兩臺Master DB作雙機熱備，因此整個集羣的讀和寫的可用性都很是高。
讀寫分離架構的缺陷在於，無論是Master仍是Slave，每一個節點都必須保存完整的數據，若是在數據量很大的狀況下，集羣的擴展能力仍是受限於單個節點的存儲能力，並且對於Write-intensive類型的應用，讀寫分離架構並不適合。

（9）數據分片模型

爲了解決讀寫分離模型的缺陷，能夠將數據分片模型應用進來。

能夠將每一個節點當作都是獨立的master，而後經過業務實現數據分片。

結合上面兩種模型，能夠將每一個master設計成由一個master和多個slave組成的模型。

（10）Redis的回收策略

volatile-lru：從已設置過時時間的數據集（server.db[i].expires）中挑選最近最少使用的數據淘汰
volatile-ttl：從已設置過時時間的數據集（server.db[i].expires）中挑選將要過時的數據淘汰
volatile-random：從已設置過時時間的數據集（server.db[i].expires）中任意選擇數據淘汰
allkeys-lru：從數據集（server.db[i].dict）中挑選最近最少使用的數據淘汰
allkeys-random：從數據集（server.db[i].dict）中任意選擇數據淘汰
no-enviction（驅逐）：禁止驅逐數據
- 1. 使用Redis有哪些好處？
  
  (1) 速度快，由於數據存在內存中，相似於HashMap，HashMap的優點就是查找和操做的時間複雜度都是O(1)
  
  (2) 支持豐富數據類型，支持string，list，set，sorted set，hash
  
  (3) 支持事務，操做都是原子性，所謂的原子性就是對數據的更改要麼所有執行，要麼所有不執行
  
  (4) 豐富的特性：可用於緩存，消息，按key設置過時時間，過時後將會自動刪除
  
  2. redis相比memcached有哪些優點？
  
  (1) memcached全部的值均是簡單的字符串，redis做爲其替代者，支持更爲豐富的數據類型
  
  (2) redis的速度比memcached快不少
  
  (3) redis能夠持久化其數據
  
  3. redis常見性能問題和解決方案：
  
  (1) Master最好不要作任何持久化工做，如RDB內存快照和AOF日誌文件
  
  (2) 若是數據比較重要，某個Slave開啓AOF備份數據，策略設置爲每秒同步一次
  
  (3) 爲了主從複製的速度和鏈接的穩定性，Master和Slave最好在同一個局域網內
  
  (4) 儘可能避免在壓力很大的主庫上增長從庫
  
  (5) 主從複製不要用圖狀結構，用單向鏈表結構更爲穩定，即：Master <- Slave1 <- Slave2 <- Slave3…
  
  這樣的結構方便解決單點故障問題，實現Slave對Master的替換。若是Master掛了，能夠馬上啓用Slave1作Master，其餘不變。
  
  4. MySQL裏有2000w數據，redis中只存20w的數據，如何保證redis中的數據都是熱點數據
  
  相關知識：redis 內存數據集大小上升到必定大小的時候，就會施行數據淘汰策略。redis 提供 6種數據淘汰策略：
  
  voltile-lru：從已設置過時時間的數據集（server.db[i].expires）中挑選最近最少使用的數據淘汰
  
  volatile-ttl：從已設置過時時間的數據集（server.db[i].expires）中挑選將要過時的數據淘汰
  
  volatile-random：從已設置過時時間的數據集（server.db[i].expires）中任意選擇數據淘汰
  
  allkeys-lru：從數據集（server.db[i].dict）中挑選最近最少使用的數據淘汰
  
  allkeys-random：從數據集（server.db[i].dict）中任意選擇數據淘汰
  
  no-enviction（驅逐）：禁止驅逐數據
  
  5. Memcache與Redis的區別都有哪些？
  
  1)、存儲方式
  
  Memecache把數據所有存在內存之中，斷電後會掛掉，數據不能超過內存大小。
  
  Redis有部份存在硬盤上，這樣能保證數據的持久性。
  
  2)、數據支持類型
  
  Memcache對數據類型支持相對簡單。
  
  Redis有複雜的數據類型。
  
  3)、使用底層模型不一樣
  
  它們之間底層實現方式以及與客戶端之間通訊的應用協議不同。
  
  Redis直接本身構建了VM 機制，由於通常的系統調用系統函數的話，會浪費必定的時間去移動和請求。
  
  4），value大小
  
  redis最大能夠達到1GB，而memcache只有1MB
  
  6. Redis 常見的性能問題都有哪些？如何解決？
  
  1).Master寫內存快照，save命令調度rdbSave函數，會阻塞主線程的工做，當快照比較大時對性能影響是很是大的，會間斷性暫停服務，因此Master最好不要寫內存快照。
  
  2).Master AOF持久化，若是不重寫AOF文件，這個持久化方式對性能的影響是最小的，可是AOF文件會不斷增大，AOF文件過大會影響Master重啓的恢復速度。Master最好不要作任何持久化工做，包括內存快照和AOF日誌文件，特別是不要啓用內存快照作持久化,若是數據比較關鍵，某個Slave開啓AOF備份數據，策略爲每秒同步一次。
  
  3).Master調用BGREWRITEAOF重寫AOF文件，AOF在重寫的時候會佔大量的CPU和內存資源，致使服務load太高，出現短暫服務暫停現象。
  
  4). Redis主從複製的性能問題，爲了主從複製的速度和鏈接的穩定性，Slave和Master最好在同一個局域網內
  
  7, redis 最適合的場景
  
  Redis最適合全部數據in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差異，那麼可能你們就會有疑問，彷佛Redis更像一個增強版的Memcached，那麼什麼時候使用Memcached,什麼時候使用Redis呢?
  
  若是簡單地比較Redis與Memcached的區別，大多數都會獲得如下觀點：
  
  1 、Redis不只僅支持簡單的k/v類型的數據，同時還提供list，set，zset，hash等數據結構的存儲。
  2 、Redis支持數據的備份，即master-slave模式的數據備份。
  3 、Redis支持數據的持久化，能夠將內存中的數據保持在磁盤中，重啓的時候能夠再次加載進行使用。
  
  （1）、會話緩存（Session Cache）
  
  最經常使用的一種使用Redis的情景是會話緩存（session cache）。用Redis緩存會話比其餘存儲（如Memcached）的優點在於：Redis提供持久化。當維護一個不是嚴格要求一致性的緩存時，若是用戶的購物車信息所有丟失，大部分人都會不高興的，如今，他們還會這樣嗎？
  
  幸運的是，隨着 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來緩存會話的文檔。甚至廣爲人知的商業平臺Magento也提供Redis的插件。
  
  （2）、全頁緩存（FPC）
  
  除基本的會話token以外，Redis還提供很簡便的FPC平臺。回到一致性問題，即便重啓了Redis實例，由於有磁盤的持久化，用戶也不會看到頁面加載速度的降低，這是一個極大改進，相似PHP本地FPC。
  
  再次以Magento爲例，Magento提供一個插件來使用Redis做爲全頁緩存後端。
  
  此外，對WordPress的用戶來講，Pantheon有一個很是好的插件 wp-redis，這個插件能幫助你以最快速度加載你曾瀏覽過的頁面。
  
  （3）、隊列
  
  Reids在內存存儲引擎領域的一大優勢是提供 list 和 set 操做，這使得Redis能做爲一個很好的消息隊列平臺來使用。Redis做爲隊列使用的操做，就相似於本地程序語言（如Python）對 list 的 push/pop 操做。
  
  若是你快速的在Google中搜索「Redis queues」，你立刻就能找到大量的開源項目，這些項目的目的就是利用Redis建立很是好的後端工具，以知足各類隊列需求。例如，Celery有一個後臺就是使用Redis做爲broker，你能夠從這裏去查看。
  
  （4），排行榜/計數器
  
  Redis在內存中對數字進行遞增或遞減的操做實現的很是好。集合（Set）和有序集合（Sorted Set）也使得咱們在執行這些操做的時候變的很是簡單，Redis只是正好提供了這兩種數據結構。因此，咱們要從排序集合中獲取到排名最靠前的10個用戶–咱們稱之爲「user_scores」，咱們只須要像下面同樣執行便可：
  
  固然，這是假定你是根據你用戶的分數作遞增的排序。若是你想返回用戶及用戶的分數，你須要這樣執行：
  
  ZRANGE user_scores 0 10 WITHSCORES
  
  Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來存儲數據的，你能夠在這裏看到。
  
  （5）、發佈/訂閱
  
  最後（但確定不是最不重要的）是Redis的發佈/訂閱功能。發佈/訂閱的使用場景確實很是多。我已看見人們在社交網絡鏈接中使用，還可做爲基於發佈/訂閱的腳本觸發器，甚至用Redis的發佈/訂閱功能來創建聊天系統！（不，這是真的，你能夠去核實）。
  
  Redis提供的全部特性中，我感受這個是喜歡的人最少的一個，雖然它爲用戶提供若是此多功能。