(轉)用MongoDB 實現優酷API 緩存

      因爲衆所周知的緣由, 邪惡的企業優酷於九月的某一天開始禁止第三方播放器加載視頻API, 我不得不設置一個反向代理來繞過Flash 的跨域限制. 自此服務器壓力激增, 致使用戶體驗大爲劣化. 爲了減小服務器壓力我費盡心思, 從原先的Apache2 + php 切換到nginx + php-fpm, 再到如今的nginx + nodejs, 充分利用了服務器有限的內存空間, 使併發性能得以不斷優化, 每次播放的請求時間由原來的10s 縮短到 1~4s.

但這也到頭了, 非緩存型反向代理受限於網絡鏈接速率, 若是反向代理服務器與優酷服務器之間的傳輸速率不能有所突破, 很難把請求時間繼續縮短. 若是要追求更高的性能, 把請求時間縮短到1s 之內, 必須在反向代理服務器上部署緩存數據庫.

反向代理服務器的工做原理

 

因而我開始尋找一個適合作緩存的數據庫, 根據服務器資源和應用場景, 對緩存數據庫提出以下需求:

1. NoSQL;
2. 較高的讀寫速率;
3. 過時機制;
4. 能在512MB 內存的VPS 上工做.

根據這些需求, 我最後選擇了MongoDB.

安裝好MongoDB 後, 創建一個存放緩存的collection, 大小爲150MB, TTL 爲1 小時:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

db.createCollection( 'youkuApiCache' ,{size:150*1024*1024}) //緩存大小150MB db.youkuApiCache.ensureIndex({          retrievedAt:1      }, {          expireAfterSeconds: 60*60      }) //retrievedAt 字段存放更新時間, 每條記錄緩存1 小時 db.youkuApiCache.getIndexes() //看一下建好的索引 [          {                  "v" : 1,                  "key" : {                          "_id" : 1                  },                  "ns" : "test.youkuApiCache" ,                  "name" : "_id_"          },          {                  "v" : 1,                  "key" : {                          "retrievedAt" : 1                  },                  "ns" : "test.youkuApiCache" ,                  "name" : "retrievedAt_1" ,                  "expireAfterSeconds" : 3600          } ] db.youkuApiCache.insert({          _id: 'test' ,          retrievedAt: new Date()      }) //插入一條記錄, 更新時間爲當前時間 db.youkuApiCache.count() //如今youkuApiCache 中有1 條記錄 1 db.youkuApiCache.count() //一小時後youkuApiCache 中有0 條記錄 0

而後對反向代理的代碼稍做改動, 就完成了緩存部署.

到如今爲止, youkuApiCache 緩存了15,000 多條記錄, 用掉100MB 空間, 性能獲得了很大提升.

1 2 3 4 5 6 7 8 9 10 11 12

time wget "http: //v .opengg.me /player/getPlayList/VideoIDS/XMTIwNDk2MTA0 /timezone/ +08 /version/5/source/video &password=" -O /dev/null -q // 第一次請求(Uncached request) real    0m0.374s user    0m0.000s sys     0m0.004s time wget "http: //v .opengg.me /player/getPlayList/VideoIDS/XMTIwNDk2MTA0 /timezone/ +08 /version/5/source/video &password=" -O /dev/null -q // 第二次請求(Cached request) real    0m0.007s user    0m0.004s sys     0m0.000s