leyou_06——FastDFS在Nginx下的安裝與測試

1.FastDFS

FastDFS是由淘寶的餘慶先生所開發的一個輕量級、高性能的開源分佈式文件系統。用純C語言開發，功能豐富：

• 文件存儲

• 文件同步

• 文件訪問（上傳、下載）

• 存取負載均衡

• 在線擴容

2.架構圖

 3.FastDFS的角色

FastDFS兩個主要的角色：Tracker Server 和 Storage Server 。

• Tracker Server：跟蹤服務器，主要負責調度storage節點與client通訊，在訪問上起負載均衡的做用，和記錄storage節點的運行狀態，是鏈接client和storage節點的樞紐。

• Storage Server：存儲服務器，保存文件和文件的meta data（元數據），每一個storage server會啓動一個單獨的線程主動向Tracker cluster中每一個tracker server報告其狀態信息，包括磁盤使用狀況，文件同步狀況及文件上傳下載次數統計等信息

• Group：文件組，多臺Storage Server的集羣。上傳一個文件到同組內的一臺機器上後，FastDFS會將該文件即時同步到同組內的其它全部機器上，起到備份的做用。不一樣組的服務器，保存的數據不一樣，並且相互獨立，不進行通訊。

• Tracker Cluster：跟蹤服務器的集羣，有一組Tracker Server（跟蹤服務器）組成。

• Storage Cluster ：存儲集羣，有多個Group組成

3.上傳和下載流程

上傳：客戶端上傳圖片後返回一個ip

 存放着該圖片在Storage中的位置

group1：圖片所在的組

 

下載：攜帶返回的該id，找到在Storage中的位置。

4.安裝和使用

1.須要的安裝包

 

2.安裝依賴

安裝GCC依賴

sudo yum -y install gcc

安裝unzip工具

sudo yum install -y unzip zip

安裝libevent

sudo yum -y install libevent

安裝Nginx所需依賴

sudo yum -y install pcre pcre-devel zlib zlib-devel openssl openssl-devel

 

3.安裝libfastcommon-master

解壓剛剛上傳的libfastcommon-master.zip

unzip libfastcommon-master.zip

進入解壓完成的目錄：

cd libfastcommon-master

編譯而且安裝：

sudo ./make.sh sudo ./makesh install

5.安裝FastDFS

編譯安裝

解壓

tar -xvf FastDFS_v5.08.tar.gz

進入目錄

cd FastDFS

編譯並安裝

sudo ./make.sh sudo ./make.sh install

校驗安裝結果

安裝完成，咱們應該能在/etc/init.d/目錄，經過命令ll /etc/init.d/ | grep fdfs看到FastDFS提供的啓動腳本：

• tarcker.conf.sample 是tracker的配置文件模板

• storage.conf.sample 是storage的配置文件模板

• client.conf.sample 是客戶端的配置文件模板

 

咱們能夠在 /etc/fdfs目錄，經過命令查看到如下配置文件模板：

 

6.啓動tracker

FastDFS的tracker和storage在剛剛的安裝過程當中，都已經被安裝了，所以咱們安裝這兩種角色的方式是同樣的。不一樣的是，兩種須要不一樣的配置文件。

咱們要啓動tracker，就修改剛剛看到的tarcker.conf，而且啓動fdfs_trackerd腳本便可。

• 編輯tracker配置

首先咱們將模板文件進行賦值和重命名：

sudo cp tracker.conf.sample tracker.conf
sudo vim tracker.conf

打開tracker.conf，修改base_path配置：

base_path=/leyou/fdfs/tracker # tracker的數據和日誌存放目錄

• 建立目錄

剛剛配置的目錄可能不存在，咱們建立出來

sudo mkdir -p /leyou/fdfs/tracker

• 啓動tracker

• 咱們可使用 sh /etc/init.d/fdfs_trackerd 啓動，不過安裝過程當中，fdfs已經被設置爲系統服務，咱們能夠採用熟悉的服務啓動方式：

sudo service fdfs_trackerd start # 啓動fdfs_trackerd服務，中止用stop

 另外，咱們能夠經過如下命令，設置tracker開機啓動：

sudo chkconfig fdfs_trackerd on

 

7.啓動storage

咱們要啓動tracker，就修改剛剛看到的tarcker.conf，而且啓動fdfs_trackerd腳本便可。

• 編輯storage配置

首先咱們將模板文件進行賦值和重命名：

sudo cp storage.conf.sample storage.conf sudo vim storage.conf

打開storage.conf，修改base_path配置：

base_path=/leyou/fdfs/storage # storage的數據和日誌存放目錄
store_path0=/leyou/fdfs/storage # storage的上傳文件存放路徑
tracker_server=192.168.56.101:22122 # tracker的地址 //配置成本身的虛擬機ip

• 建立目錄

剛剛配置的目錄可能不存在，咱們建立出來

sudo mkdir -p /leyou/fdfs/storage

• 啓動storage

  咱們可使用 sh /etc/init.d/fdfs_storaged 啓動，一樣咱們能夠用服務啓動方式：

sudo service fdfs_storaged start  # 啓動fdfs_storaged服務，中止用stop

 另外，咱們能夠經過如下命令，設置tracker開機啓動：

sudo chkconfig fdfs_storaged on

 

最後，經過ps -ef | grep fdfs 查看進程：安裝成功

 

經過client測試上傳圖片

[root@root fdfs]# /usr/bin/fdfs_upload_file client.conf /tmp/1.jpg

 

但此時咱們經過瀏覽器仍是沒法訪問到上傳的圖片所以咱們須要：

7.安裝Nginx及FastDFS模塊

解壓

tar -xvf fastdfs-nginx-module_v1.16.tar.gz

配置config文件

# 進入配置目錄
cd /home/leyou/fastDfs/fastdfs-nginx-module/src/
# 修改配置
vim config
# 執行下面命令（將配置中的/usr/local改成/usr）：
:%s+/usr/local/+/usr/+g

 

配置mod_fastdfs.conf

# 將src目錄下的mod_fastdfs.conf複製到 /etc/fdfs目錄：
sudo cp mod_fastdfs.conf /etc/fdfs/
# 編輯該文件
sudo vim /etc/fdfs/mod_fastdfs.cof

 

修改一下配置：

connect_timeout=10                          # 客戶端訪問文件鏈接超時時長（單位：秒）
tracker_server=192.168.98.128:22122         # tracker服務IP和端口  修改成本身的虛擬機地址
url_have_group_name=true                    # 訪問連接前綴加上組名
store_path0=/leyou/fdfs/storage             # 文件存儲路徑

 

複製 FastDFS的部分配置文件到/etc/fdfs目錄

cd /home/leyou/fdfs/FastDFS/conf/
cp http.conf mime.types /etc/fdfs/

 

8.安裝Nginx（若是已經安裝了nginx只執行如下紅色部分！！！綠色爲報錯處理！！！）

解壓

tar -xvf nginx-1.10.0.tar.gz

配置

sudo ./configure --prefix=/usr/local/nginx --sbin-path=/usr/local/nginx/sbin --add-module=/home/leyou/fastDfs/fastdfs-nginx-module/src

--prefix=/usr/local/nginx  //文件安裝位置

--sbin-path=/usr/local/nginx/sbin //啓動文件位置 ./nginx

--add-module=/home/leyou/fastDfs/fastdfs-nginx-module/src //Nginx的FastDFS模塊

編譯

make

安裝

install

配置nginx整合fastdfs-module模塊

咱們須要修改nginx配置文件，在/usr/local/nginx/conf文件中：

sudo vim  /usr/local/nginx/conf

配置nginx的反向代理

server {
        listen       80;
        server_name  image.taotao.com;

        # 監聽域名中帶有group的，交給FastDFS模塊處理
        location ~/group([0-9])/ {
            ngx_fastdfs_module;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        
    }

 

重啓nginx在瀏覽器中測試上面經過Client上傳的圖片 成功

 

 重啓nginx準備測試時出現錯誤：Nginx: [error] open() ＂/usr/local/Nginx/logs/Nginx.pid

缺乏nginx.pid文件

 

 解決方法：

[root@localhost nginx]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

　　/usr/local/nginx/sbin/nginx  //nginx啓動文件位置

　　使用nginx -c的參數指定nginx.conf文件的位置

如下爲設置nginx的開機自啓能夠不配置

• 啓動

  nginx # 啓動
  nginx -s stop # 中止
  nginx -s reload # 從新加載配置

• 設置nginx開機啓動

  建立一個開機啓動的腳本：

  vim /etc/init.d/nginx

  添加如下內容：

• 若是你是自定義編譯安裝的nginx，須要根據您的安裝路徑修改上面紅色的地方

   

  #!/bin/sh
  #
  # nginx - this script starts and stops the nginx daemon
  #
  # chkconfig:   - 85 15
  # description:  NGINX is an HTTP(S) server, HTTP(S) reverse \
  #               proxy and IMAP/POP3 proxy server
  # processname: nginx
  # config:      /etc/nginx/nginx.conf
  # config:      /etc/sysconfig/nginx
  # pidfile:     /var/run/nginx.pid
  # Source function library.
  . /etc/rc.d/init.d/functions
  # Source networking configuration.
  . /etc/sysconfig/network
  # Check that networking is up.
  [ "$NETWORKING" = "no" ] && exit 0
  nginx="/usr/local/nginx/sbin"
  prog=$(basename $nginx)
  NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
  [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
  lockfile=/var/lock/subsys/nginx
  make_dirs() {
  # make required directories
  user=`$nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
  if [ -z "`grep $user /etc/passwd`" ]; then
     useradd -M -s /bin/nologin $user
  fi
  options=`$nginx -V 2>&1 | grep 'configure arguments:'`
  for opt in $options; do
     if [ `echo $opt | grep '.*-temp-path'` ]; then
         value=`echo $opt | cut -d "=" -f 2`
         if [ ! -d "$value" ]; then
             # echo "creating" $value
             mkdir -p $value && chown -R $user $value
         fi
     fi
  done
  }
  start() {
  [ -x $nginx ] || exit 5
  [ -f $NGINX_CONF_FILE ] || exit 6
  make_dirs
  echo -n $"Starting $prog: "
  daemon $nginx -c $NGINX_CONF_FILE
  retval=$?
  echo
  [ $retval -eq 0 ] && touch $lockfile
  return $retval
  }
  stop() {
  echo -n $"Stopping $prog: "
  killproc $prog -QUIT
  retval=$?
  echo
  [ $retval -eq 0 ] && rm -f $lockfile
  return $retval
  }
  restart() {
  configtest || return $?
  stop
  sleep 1
  start
  }
  reload() {
  configtest || return $?
  echo -n $"Reloading $prog: "
  killproc $nginx -HUP
  RETVAL=$?
  echo
  }
  force_reload() {
  restart
  }
  configtest() {
  $nginx -t -c $NGINX_CONF_FILE
  }
  rh_status() {
  status $prog
  }
  rh_status_q() {
  rh_status >/dev/null 2>&1
  }
  case "$1" in
  start)
      rh_status_q && exit 0
      $1
      ;;
  stop)
      rh_status_q || exit 0
      $1
      ;;
  restart|configtest)
      $1
      ;;
  reload)
      rh_status_q || exit 7
      $1
      ;;
  force-reload)
      force_reload
      ;;
  status)
      rh_status
      ;;
  condrestart|try-restart)
      rh_status_q || exit 0
          ;;
   *)
      echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
      exit 2
  esac 

• 修改文件權限，並加入服務列表

  # 修改權限
  chmod 777 /etc/init.d/nginx 
  # 添加到服務列表
  chkconfig --add /etc/init.d/nginx 

   

• 設置開機啓動

      chkconfig nginx on
  
  

 

配置文件所在地址

 

 圖片上傳到服務器後存儲的地址