NoSQL - Redis應用場景

     問題的引入

      DB（Oracle、MySQL、Postgresql等）＋Memcached 這種架構模式在咱們生產環境中十分常見，通常咱們經過Memcached將熱點數據加載到cache，應用層首先向Memcached請求數據，若是緩存中存在數據，那麼直接返回應用層；但隨着業務數據量的不斷增長，和訪問量的持續增加，咱們也會遇到不少問題：

　　1.在DB和Memcached之間如何保證數據的一致性。

　　2.Memcached數據命中率低或down機，應用直接訪問DB，造成雪崩效應，數據庫壓力瞬間暴增，直接致使數據庫響應慢，或者crash掉。

　　3.跨機房cache同步問題。

　　

    Redis

      在衆多NoSQL中咱們通常拿Redis替換Memecached使用，緣由有下：

     1 、Redis 支持更多的數據類型（strings、map、 list、sets、 sorted sets等）

     2 、Redis 支持複製功能。

     3 、Redis 支持數據的持久化，能夠將內存中的數據保持在磁盤中，重啓的時候能夠再次加載進行使用。

     4 、Redis 支持Sharding技術， 很容易將數據分佈到多個Redis實例中，方便快速擴展。

     5 、Redis 在內存分配時採用申請分配方式， 內存使用更高效。

 

    Redis最爲經常使用的數據類型主要有如下：

• • String
  • Hash
  • List
  • Set
  • Sorted set
  • pub/sub
  • Transactions 

 

   數據類型應用

    1.  String 

經常使用命令：get、set、incr、decr mget等。

應用場景：String是最經常使用的一種數據類型，普通的key/ value 存儲均可以歸爲此類.便可以徹底實現目前 Memcached 的功能，而且效率更高。還能夠享受Redis的定時持久化，操做日誌及 Replication等功能。除了提供與 Memcached 同樣的get、set、incr、decr 等操做外，Redis還提供了下面一些操做： 

• • 獲取字符串長度
  • 往字符串append內容
  • 設置和獲取字符串的某一段內容
  • 設置及獲取字符串的某一位（bit）
  • 批量設置一系列字符串的內容 

2.  Hash

 

經常使用命令：hget,hset,hgetall 等。

應用場景：在Memcached中，咱們常常將一些結構化的信息打包成HashMap，在客戶端序列化後存儲爲一個字符串的值，好比用戶的暱稱、年齡、性別、積分等，這時候在須要修改其中某一項時，一般須要將全部值取出反序列化後，修改某一項的值，再序列化存儲回去。這樣不只增大了開銷，也不適用於一些可能併發操做的場合（好比兩個併發的操做都須要修改積分）。而Redis的Hash結構可使你像在數據庫中Update一個屬性同樣只修改某一項屬性值。

好比咱們要存儲一個用戶信息對象數據，包含如下信息：

    用戶ID爲查找的key，存儲的value用戶對象包含姓名，年齡，生日等信息，若是用普通的key/value結構來存儲，主要有如下2種存儲方式：

    第一種方式將用戶ID做爲查找key,把其餘信息封裝成一個對象以序列化的方式存儲，這種方式的缺點是，增長了序列化/反序列化的開銷，而且在須要修改其中一項信息時，須要把整個對象取回，而且修改操做須要對併發進行保護，引入CAS等複雜問題。 

    ｛"ID":"xxxxxx","username,age,birthday"｝

    第二種方法是這個用戶信息對象有多少成員就存成多少個key-value對兒，用用戶ID+對應屬性的名稱做爲惟一標識來取得對應屬性的值，雖然省去了序列化開銷和併發問題，可是用戶ID爲重複存儲，若是存在大量這樣的數據，內存浪費仍是很是可觀的。

     {"xxxIDusername":"xxxxx","xxxIDage":"xxxx","xxxIDbirthday":"xxxxx"}

    那麼Redis提供的Hash很好的解決了這個問題，Redis的Hash實際是內部存儲的Value爲一個HashMap，並提供了直接存取這個Map成員的接口，

     {"ID":"xxxxxx":"userinfo":"\"username\":\"xxxxName\",\"age\":\"xxxx\",\"birthday\":\"xxxxxx\""｝

也就是說，Key仍然是用戶ID, value是一個Map，這個Map的key是成員的屬性名，value是屬性值，這樣對數據的修改和存取均可以直接經過其內部Map的Key(Redis裏稱內部Map的key爲field), 也就是經過 key(用戶ID) + field(屬性標籤) 就能夠操做對應屬性數據了，既不須要重複存儲數據，也不會帶來序列化和併發修改控制的問題。很好的解決了問題。

 

3. List

經常使用命令：lpush,rpush,lpop,rpop,lrange等。

應用場景：

Redis list的應用場景很是多，也是Redis最重要的數據結構之一，好比twitter的關注列表，粉絲列表等均可以用Redis的list結構來實現。

Lists 就是鏈表，相信略有數據結構知識的人都應該能理解其結構。使用Lists結構，咱們能夠輕鬆地實現最新消息排行等功能。Lists的另外一個應用就是消息隊列，

能夠利用Lists的PUSH操做，將任務存在Lists中，而後工做線程再用POP操做將任務取出進行執行。Redis還提供了操做Lists中某一段的api，你能夠直接查詢，刪除Lists中某一段的元素。

 

4. Set

經常使用命令：sadd,spop,smembers,sunion 等。

應用場景：

Redis set對外提供的功能與list相似是一個列表的功能，特殊之處在於set是能夠自動排重的，當你須要存儲一個列表數據，又不但願出現重複數據時，set是一個很好的選擇，而且set提供了判斷某個成員是否在一個set集合內的重要接口，這個也是list所不能提供的。

Sets 集合的概念就是一堆不重複值的組合。利用Redis提供的Sets數據結構，能夠存儲一些集合性的數據，好比在微博應用中，能夠將一個用戶全部的關注人存在一個集合中，將其全部粉絲存在一個集合。Redis還爲集合提供了求交集、並集、差集等操做，能夠很是方便的實現如共同關注、共同喜愛、二度好友等功能，對上面的全部集合操做，你還可使用不一樣的命令選擇將結果返回給客戶端仍是存集到一個新的集合中。

 

5. Sorted Set

經常使用命令：zadd,zrange,zrem,zcard等

使用場景：

Redis sorted set的使用場景與set相似，區別是set不是自動有序的，而sorted set能夠經過用戶額外提供一個優先級(score)的參數來爲成員排序，而且是插入有序的，即自動排序。當你須要一個有序的而且不重複的集合列表，那麼能夠選擇sorted set數據結構，好比twitter 的public timeline能夠以發表時間做爲score來存儲，這樣獲取時就是自動按時間排好序的。

另外還能夠用Sorted Sets來作帶權重的隊列，好比普通消息的score爲1，重要消息的score爲2，而後工做線程能夠選擇按score的倒序來獲取工做任務。讓重要的任務優先執行。

 

6. Pub/Sub

 Pub/Sub 從字面上理解就是發佈（Publish）與訂閱（Subscribe），在Redis中，你能夠設定對某一個key值進行消息發佈及消息訂閱，當一個key值上進行了消息發佈後，全部訂閱它的客戶端都會收到相應的消息。這一功能最明顯的用法就是用做實時消息系統，好比普通的即時聊天，羣聊等功能。 

 

實際應用場景

一、顯示最新的項目列表

下面這個語句經常使用來顯示最新項目，隨着數據多了，查詢毫無疑問會愈來愈慢。

1. SELECT * FROM foo WHERE ... ORDER BY time DESC LIMIT 10   

        在Web應用中，「列出最新的回覆」之類的查詢很是廣泛，這一般會帶來可擴展性問題。這使人沮喪，由於項目原本就是按這個順序被建立的，但要輸出這個順序卻不得不進行排序操做。

        相似的問題就能夠用Redis來解決。好比說，咱們的一個Web應用想要列出用戶貼出的最新20條評論。在最新的評論邊上咱們有一個「顯示所有」的連接，點擊後就能夠得到更多的評論。

        咱們假設數據庫中的每條評論都有一個惟一的遞增的ID字段。

        咱們可使用分頁來製做主頁和評論頁，使用Redis的模板，每次新評論發表時，咱們會將它的ID添加到一個Redis列表： LPUSH latest.comments <ID>   

       咱們將列表裁剪爲指定長度，所以Redis只須要保存最新的5000條評論： LTRIM latest.comments 0 5000 

       每次咱們須要獲取最新評論的項目範圍時，咱們能夠先從Redis 取得這個範圍的 ID List， 而後拿這個ID list 到DB裏邊直接去取數據 ，這個ID通常就是咱們RDBMS裏邊的 uniq key 或者primary key ， 這樣以來咱們省去了在 RDBMS 排序的時間，直接使用 consat 方式

       咱們的系統不會像傳統方式那樣「刷新」緩存，Redis實例中的信息永遠是一致的。SQL數據庫（或是硬盤上的其餘類型數據庫）只是在用戶須要獲取「很遠」的數據時纔會被觸發，而主頁或第一個評論頁是不會麻煩到硬盤上的數據庫了。

二、刪除與過濾

      咱們可使用LREM來刪除評論。若是刪除操做很是少，另外一個選擇是直接跳過評論條目的入口，報告說該評論已經不存在。

       有些時候你想要給不一樣的列表附加上不一樣的過濾器。若是過濾器的數量受到限制，你能夠簡單的爲每一個不一樣的過濾器使用不一樣的Redis列表。畢竟每一個列表只有5000條項目，但Redis卻可以使用很是少的內存來處理幾百萬條項目。

三、排行榜相關

      另外一個很廣泛的需求是各類數據庫的數據並不是存儲在內存中，所以在按得分排序以及實時更新這些幾乎每秒鐘都須要更新的功能上數據庫的性能不夠理想。

      典型的好比那些在線遊戲的排行榜，好比一個Facebook的遊戲，根據得分你一般想要：

         - 列出前100名高分選手

         - 列出某用戶當前的全球排名

      這些操做對於Redis來講小菜一碟，即便你有幾百萬個用戶，每分鐘都會有幾百萬個新的得分。

      模式是這樣的，每次得到新得分時，咱們用這樣的代碼：ZADD leaderboard  <score>  <username> 

     你可能用userID來取代username，這取決於你是怎麼設計的。

      獲得前100名高分用戶很簡單：ZREVRANGE leaderboard 0 99

      用戶的全球排名也類似，只須要：ZRANK leaderboard <username>

 

四、按照用戶投票和時間排序

      排行榜的一種常見變體模式就像Reddit或Hacker News用的那樣，新聞按照相似下面的公式根據得分來排序：

       score = points / time^alpha 

      所以用戶的投票會相應的把新聞挖出來，但時間會按照必定的指數將新聞埋下去。下面是咱們的模式，固然算法由你決定。

      模式是這樣的，開始時先觀察那些多是最新的項目，例如首頁上的1000條新聞都是候選者，所以咱們先忽視掉其餘的，這實現起來很簡單。

      每次新的新聞貼上來後，咱們將ID添加到列表中，使用LPUSH + LTRIM，確保只取出最新的1000條項目。

      有一項後臺任務獲取這個列表，而且持續的計算這1000條新聞中每條新聞的最終得分。計算結果由ZADD命令按照新的順序填充生成列表，老新聞則被清除。這裏的關鍵思路是排序工做是由後臺任務來完成的。

 

五、處理過時項目

      另外一種經常使用的項目排序是按照時間排序。咱們使用unix時間做爲得分便可。

      模式以下：

       - 每次有新項目添加到咱們的非Redis數據庫時，咱們把它加入到排序集合中。這時咱們用的是時間屬性，current_time和time_to_live。

       - 另外一項後臺任務使用ZRANGE…SCORES查詢排序集合，取出最新的10個項目。若是發現unix時間已通過期，則在數據庫中刪除條目。

 

六、計數

       Redis是一個很好的計數器，這要感謝INCRBY和其餘類似命令。

       我相信你曾許屢次想要給數據庫加上新的計數器，用來獲取統計或顯示新信息，可是最後卻因爲寫入敏感而不得不放棄它們。

       好了，如今使用Redis就不須要再擔憂了。有了原子遞增（atomic increment），你能夠放心的加上各類計數，用GETSET重置，或者是讓它們過時。

       例如這樣操做：  INCR user:<id> EXPIRE  

       你能夠計算出最近用戶在頁面間停頓不超過60秒的頁面瀏覽量，當計數達到好比20時，就能夠顯示出某些條幅提示，或是其它你想顯示的東西。

七、特定時間內的特定項目

        另外一項對於其餘數據庫很難，但Redis作起來卻垂手可得的事就是統計在某段特色時間裏有多少特定用戶訪問了某個特定資源。好比我想要知道某些特定的註冊用戶或IP地址，他們到底有多少訪問了某篇文章。

      每次我得到一次新的頁面瀏覽時我只須要這樣作：  SADD page:day1:<page_id> <user_id> 

      固然你可能想用unix時間替換day1，好比time()-(time()%3600*24)等等。

      想知道特定用戶的數量嗎？只須要使用 SCARD page:day1:<page_id>

       須要測試某個特定用戶是否訪問了這個頁面？SISMEMBER page:day1:<page_id>

 

八、實時分析正在發生的狀況，用於數據統計與防止垃圾郵件等

        咱們只作了幾個例子，但若是你研究Redis的命令集，而且組合一下，就能得到大量的實時分析方法，有效並且很是省力。使用Redis原語命令，更容易實施垃圾郵件過濾系統或其餘實時跟蹤系統。

 

九、Pub/Sub

       Redis的Pub/Sub很是很是簡單，運行穩定而且快速。支持模式匹配，可以實時訂閱與取消頻道。

十、隊列

        你應該已經注意到像list push和list pop這樣的Redis命令可以很方便的執行隊列操做了，但能作的可不止這些：好比Redis還有list pop的變體命令，可以在列表爲空時阻塞隊列。

       現代的互聯網應用大量地使用了消息隊列（Messaging）。消息隊列不只被用於系統內部組件之間的通訊，同時也被用於系統跟其它服務之間的交互。消息隊列的使用能夠增長系統的可擴展性、靈活性和用戶體驗。非基於消息隊列的系統，其運行速度取決於系統中最慢的組件的速度（注：短板效應）。而基於消息隊列能夠將系統中各組件解除耦合，這樣系統就再也不受最慢組件的束縛，各組件能夠異步運行從而得以更快的速度完成各自的工做。

    此外，當服務器處在高併發操做的時候，好比頻繁地寫入日誌文件。能夠利用消息隊列實現異步處理。從而實現高性能的併發操做。

 

附錄：

Redis 和Memcached 對比：http://my.oschina.net/junn/blog/280218

爲何使用Redis 及其產品： http://www.infoq.com/cn/articles/tq-why-choose-redis