利用mongodb實現分佈式WEB圖片存儲

時間  2019-11-29
標籤 利用 mongodb 實現 分佈式 web 圖片 存儲 欄目 MongoDB 简体版
原文   原文鏈接
mongodb 裏的  GridFS 是個好東西。有了GridFS咱們就能夠把文件存儲到 mongodb裏面。有人疑問，爲啥要把文件存 mongodb裏呢？直接放個目錄裏，而後 URL直接訪問不就完了，好比 [php]www.xxoo.com/xo.jpg[/php]  。 的確在站比較小得時候，附件很少的時候，固然這樣處理很好。可是當 附件數量海里去了~~ 那這樣存就蛋疼了， 備份是個問題，硬盤IO瓶頸那會也會凸顯出來。問題接踵而來。那會，就須要分佈式文件存儲了。    利用 GridFS 存儲文件， 再利用 mongodb 的分片(sharding) 就能夠作到海量存儲了。 固然本文只是一個知識擴展~ 生產使用此方案出問題，與本人無關~~別找我。

環境：系統是  FreeBSD 8.2-RELEASE。   

首先開始安裝  mongodb （mongodb-src-r1.8.3.） ：
  1. vm205# cd /usr/ports/databases/mongodb/
  2. vm205# make install clean
複製代碼

等吧~~。一會就完了。完了還要配置下，作FB的 這個懂的    vi   /etc/rc.conf：
  1. mongod_enable="YES"   #開機啓動
  2. mongod_dbpath="/data/mongodb"  # DB存儲目錄
複製代碼
完了，記得啓動mongodb 哦：
  1. /usr/local/etc/rc.d/mongod start
複製代碼

由於咱們是用 nginx  的 nginx-gridfs 模塊來訪問 mongodb，因此安裝 nginx (nginx-1.0.8)
  1. vm205# cd /usr/ports/www/nginx
  2. vm205# make install clean
複製代碼

記住， 在彈出選擇模塊的步驟中，要記得選上：nginx-gridfs  模塊。不然~~ nginx 和  mongodb 木啥關係。



又要再等等~~ 喝杯咖啡吧。。裝完了也要配置下了：  vi   /etc/rc.conf
  1. nginx_enable="YES"  #開機啓動
複製代碼
啓動：
  1. /usr/local/etc/rc.d/nginx start
複製代碼



當  nginx 和 mongodb 都裝完了之後。開始進行咱們的分佈式文件存儲之旅吧，首先，寫個demo ，上傳文件時候把文件存儲到 mongodb裏。

寫個上傳表單：demo.php  
  1. <form method="POST" enctype="multipart/form-data" action="gridfs.php">
  2.      上傳文件: <input type="file" name="pic"/>
  3.      <input type="submit"/>
  4. </form>
複製代碼


接受表單把上傳的文件存儲到 mongodb : gridfs.php
  1. <?php
  2.         $con = new Mongo("mongodb://192.168.1.205"); // Connect to Mongo Server
  3.         $db = $con->selectDB("xxoo"); // Connect to Database
  4.         $grid = $db->getGridFS();
  5.         $grid->storeUpload("pic", 'demo.jpg');

  7. ?>
複製代碼


。運行程序，提交表單，而後去mongo 看看 存上沒。
  1. vm205# mongo  # 進入 mongo 
  2. MongoDB shell version: 1.8.3
  3. connecting to: test
  4. > show dbs   # 顯示全部數據庫
  5. admin   (empty)
  6. local   (empty)
  7. niniang 0.0625GB
  8. xxoo    0.0625GB  #  看到 xxoo了吧~~ 再看下剛上面的代碼。在 selectDB的時候，咱們選擇的就是xxoo 數據庫，存在了證實文件存儲上了。
  9. > use xxoo # 進入xxoo數據庫
  10. switched to db xxoo
  11. > show collections  # 顯示數據庫裏的集合（你就當時表吧)
  12. fs.chunks
  13. fs.files
  14. system.indexes
複製代碼
咱們先看下  xxoo 集合裏自動建立的三個集合。

fs.chunks     塊集合， gridfs 會把大文件分紅一小塊一小塊的來進行存儲，因此能夠存儲大文件。

fs.files    咱們看下這個文件裏面是啥內容。
  1. > db.fs.files.find()
  2. { "_id" : ObjectId("4eb53994d4a9e19809000001"), "filename" : "demo.jpg", "uploadDate" : ISODate("2011-11-05T13:26:44Z"), "length" : 373044, "chunkSize" : 262144, "md5" : "991a2475cc9fe9a414148b45519a6c40" }
複製代碼


裏面存儲着咱們剛上傳的文件的信息，好比 filename  文件名。   length 文件大小   chunkSize 分塊大小。  文件就這樣給存儲到 mongodb了。


system.indexes   集合索引文件。  索引懂吧~不懂 先學 mysql  呵呵。

好的。到這裏。 分佈式文件存儲，就完成了一半了~~。 這半就是文件存儲。 那分佈式呢？ 接下來咱們就分佈式吧~~ 淡定~這個分佈式其實仍是比較簡單的。
爲了分佈式，咱們準備了 4臺 Freebsd 服務器。使用兩臺服務器，多個進程方式也是能夠實現，但不夠4臺服務器清晰點。咱們來搭建一個基礎的分佈式吧

一、配置mongod 服務器   ： 192.168.1.202       把"mongos路由服務器" 的配置信息存儲到硬盤。
二、mongos 路由服務器   ： 192.168.1.203       把一些存儲節點的路由信息存儲到內存
三、mongod 存儲節點      ： 192.168.1.204       真是的存儲節點，裏面存儲着上傳的圖片呀，文件等。能夠拓展N臺~~ 分佈式嘛。。具體多少臺~我也沒測試過。。。
四、mongod 存儲節點      ： 192.168.1.205


首先配置mongod服務器。 192.168.1.202：
  1. /usr/local/bin/mongod --configsvr --dbpath=/data/configsvr  --logpath=/data/configsvr/mongo.log --port  27019 --logappend --fork
複製代碼

OK。肯定啓動成功:   ps  aux  | grep mongo     肯定了木問題了繼續。
配置  mongos 路由服務器。192.168.1.203：
  1. /usr/local/bin/mongos --configdb  192.168.1.202:27019   --logpath=/data/configdb/mongo.log  --port 27017 --logappend --fork
複製代碼

在肯定啓動正常。再繼續
配置 mongod 存儲節點了： 192.168.1.204和 192.168.1.205，分別在存儲節點上運行如下shell

  1. /usr/local/bin/mongod --shardsvr --dbpath=/data/shardsvr --logpath=/data/shardsvr  --port 27017  --logappend  --fork
複製代碼

好了 到這裏，基本全部服務器都配置完了。接下來。咱們就要添加" mongos 路由信息了"。 主要是告訴 mongos 。 存儲節點分別是哪些服務器？ 對那個數據庫啓動分片？以集合裏的那個key 進行分片。
添加存儲節點到  mongos 路由服務上：
  1. db.runCommand({addshard:"192.168.1.204:27017"})
  2. db.runcOMMAND({addshard:"192.168.1.205:27017"})
複製代碼


告訴， mongos 路由節點，對那些庫和集合進行分片存儲。
  1. db.runCommand({"enablesharding" : "xxoo"})
  2. db.runCommand({"shardcollection" : "xxoo.fs.chunks","key" : {"_id" : 1}})
  3. db.runCommand({"shardcollection" : "xxoo.fs.files","key" : {"_id" : 1}})
複製代碼

好了 分佈式環境搭建完了。 那咱們回頭看下代碼方面，只須要修改下訪問地址，全部的請求都應該經過  "mongos 路由服務器" 這樣才能自動幫你分片嘛~~ 
  1. <?php
  2.         $con = new Mongo("mongodb://192.168.1.203"); // 鏈接到  mongos 路由服務器，讓它幫咱們分片
  3.         $db = $con->selectDB("xxoo"); // Connect to Database
  4.         $grid = $db->getGridFS();
  5.         $grid->storeUpload("pic", 'demo.jpg');

  7. ?>
複製代碼

文件上傳、分佈式存儲。都實現了。  nginx 開始上場了。 咱們用 nginx 來作靜態資源的服務器，前面咱們裝得 nginx-gridfs  模塊，裏面自帶了訪問 mongodb  的驅動。那是至關方便呀。看下 nginx 配置：
  1. server {
  2.         listen       8088;
  3.         server_name localhost;

  5. #重點在這裏
  6.         location / {
  7.             gridfs xxoo field=filename type=string;
  8.             mongo 192.168.1.203:27017;
  9.         }

  11.         # redirect server error pages to the static page /50x.html
  12.         #
  13.         error_page   500 502 503 504  /50x.html;
  14.                  location = /50x.html {
  15.             root   html;
  16.         }

  18.         # deny access to .htaccess files, if Apache's document root
  19.         # concurs with nginx's one
  20.         #
  21.         location ~ /WEB-INF/ {
  22.             deny  all;
  23.         }
  24.     }
複製代碼

重點理解這些：
gridfs  xxoo   field=filename   type=string;  
gridfs  [數據庫]  field=[以那個字段進行查詢]  type=[字段的類型]。  通常咱們都是以  存儲在mongodb 裏的文件名爲條件去查詢，進而來打開要顯示的文件。

mongo 192.168.1.203:27017;
要鏈接的 mongos 路由服務器和端口。

那麼咱們如今能夠經過地址：

[php]http://192.168.1.203:8088/demo.jpg[/php]    就能夠顯示咱們要的圖片了。
最後爲這個教程寫了個方便部署的 腳本~~。不是很完善~湊合着用。。
  1. #!/usr/bin/python
  2. #coding:utf-8
  3. import os
  4. from sys import argv

  6. def runShell(command):
  7.     content = ''
  8.     out = os.popen(command)
  9.     while True:
  10.         line = out.readline()
  11.         content += line
  12.         if not line:
  13.             break
  14.     return content

  16. if __name__ == '__main__':
  17.     '''
  18.     
  19.     '''
  20.     if len(argv) > 1:
  21.         para = argv[1]
  22.         if para == 'config_mongod':
  23.             
  24.             config_mongod = {'path':'/data/config','logpath':'/data/config/config.log','port':27019}
  25.             print runShell("/usr/local/bin/mongod --configsvr --dbpath=%s --logpath=%s --port %d --logappend --fork" % (config_mongod['path'],config_mongod['logpath'],config_mongod['port']))
  26.             
  27.         elif para == 'config_mongos':
  28.             
  29.             config_mongos = {'host':'192.168.1.202:27019','logpath':'/data/config/configdb.log','port':27017}
  30.             print runShell("/usr/local/bin/mongos --configdb %s --logpath=%s --port %d --logappend --fork" % (config_mongos['host'],config_mongos['logpath'],config_mongos['port']))

  32.         elif para == 'shard':

  34.             mongodb = {'port':27017,'dbpath':'/data/mongodb','logpath':'/data/mongodb/mongodb.log'}
  35.             print runShell("/usr/local/bin/mongod --shardsvr --dbpath=%s --logpath=%s --port %d --logappend --fork" % (mongodb['dbpath'],mongodb['logpath'],mongodb['port']))

  37.         elif para == 'enable':
  38.             import pymongo
  39.             conn = pymongo.Connection('192.168.1.203',27017)
  40.             db = conn.admin

  42.             shardHOST = ["192.168.1.204:27017","192.168.1.205:27017"]
  43.             for ip in range(len(shardHOST)):
  44.                 db.runCommand({'addshard':shardHOST[ip]})


  47.             db.runCommand({'enableSharding':'test'})
  48.             db.runCommand({'shardcollection':"test.users",'key':{'_id':1}})
  49.             
  50.     else:
  51.         print "no argv!"
複製代碼

轉載自：http://bbs.phpchina.com/forum.php?mod=viewthread&tid=226415
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程