Nginx反代MogileFS集羣

時間 2020-09-21

原文原文鏈接

　　上一篇博文咱們主要聊了下分佈式文件系統MogileFS的組件以及部署使用，回顧請參考http://www.javashuo.com/article/p-ynfhxdqu-np.html；今天咱們主要來聊一下MogileFS的客戶端代理，用nginx作反代的相關配置；php

　　咱們知道mogilefs的tracker和客戶端通訊使用的http協議，客戶端和storage通訊也是使用http協議；客戶端向tracker發送請求獲取文件的內容，tracker收到請求後，去數據庫中查，把查到的結果返回給客戶端，而後客戶端再經過tracker返回的結果去請求對應的存儲節點，經過這樣一個過程客戶端就拿到對應文件的內容；從上面描述的過程來看，要想使用mogilefs得有一款智能的客戶端，它必須知足可以理解到tracker返回的內容，而後再向存儲節點請求對應的文件；其次這個客戶端還能經過http協議同tracker和storage交互，也就說咱們須要一款可以理解tracker返回的內容的http協議的反代服務器；nginx做爲http的方向代理服務器是沒有問題，問題在它還須要可以理解到tracker返回的內容，而後去storage上請求對應的文件；咱們知道nginx是一款高度模塊化的軟件，須要什麼功能，能夠經過模塊的方式加入到nginx裏；這樣一來用nginx來作這個方向代理是最佳人選；默認nginx是不支持反代mogilefs集羣，因此咱們須要手動去找第三方模塊，經過編譯的方式讓它支持反代mogilefs集羣；html

　　下載nignx源碼包和支持反代mogilefs集羣的第三方模塊node

　　提示：下載nginx的源碼包咱們直接上官網下載就好；第三方模塊源碼包去https://www.nginx.com/resources/wiki/modules/找；對於nignx支持mogilefs集羣的文檔和包下載能夠去這個地址上查看和下載http://www.grid.net.ru/nginx/mogilefs.en.html；python

　　安裝基本的編譯環境包組nginx

[root@node04 ~]# yum groupinstall "Development Tools" -y
Loaded plugins: fastestmirror
Setting up Group Process
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: mirrors.aliyun.com
base/group_gz                                                                      | 242 kB     00:00     
epel/group_gz                                                                      |  74 kB     00:00     
Package gcc-4.4.7-23.el6.x86_64 already installed and latest version
Package 1:make-3.81-23.el6.x86_64 already installed and latest version
Package 1:pkgconfig-0.23-9.1.el6.x86_64 already installed and latest version
Package gcc-c++-4.4.7-23.el6.x86_64 already installed and latest version
Resolving Dependencies
--> Running transaction check
---> Package autoconf.noarch 0:2.63-5.1.el6 will be installed
---> Package automake.noarch 0:1.11.1-4.el6 will be installed
---> Package binutils.x86_64 0:2.20.51.0.2-5.46.el6 will be updated
---> Package binutils.x86_64 0:2.20.51.0.2-5.48.el6_10.1 will be an update
---> Package bison.x86_64 0:2.4.1-5.el6 will be installed
……省略部份內容……
Installed:
  autoconf.noarch 0:2.63-5.1.el6                            automake.noarch 0:1.11.1-4.el6               
  bison.x86_64 0:2.4.1-5.el6                                byacc.x86_64 0:1.9.20070509-7.el6            
  cscope.x86_64 0:15.6-7.el6                                ctags.x86_64 0:5.8-2.el6                     
  cvs.x86_64 0:1.11.23-16.el6                               diffstat.x86_64 0:1.51-2.el6                 
  doxygen.x86_64 1:1.6.1-6.el6                              elfutils.x86_64 0:0.164-2.el6                
  flex.x86_64 0:2.5.35-9.el6                                gcc-gfortran.x86_64 0:4.4.7-23.el6           
  gettext.x86_64 0:0.17-18.el6                              git.x86_64 0:1.7.1-10.el6_10                 
  indent.x86_64 0:2.2.10-7.el6                              intltool.noarch 0:0.41.0-1.1.el6             
  libtool.x86_64 0:2.2.6-15.5.el6                           patch.x86_64 0:2.6-8.el6_9                   
  patchutils.x86_64 0:0.3.1-3.1.el6                         rcs.x86_64 0:5.7-37.el6                      
  redhat-rpm-config.noarch 0:9.0.3-51.el6.centos            rpm-build.x86_64 0:4.8.0-59.el6              
  subversion.x86_64 0:1.6.11-15.el6_7                       swig.x86_64 0:1.3.40-6.el6                   
  systemtap.x86_64 0:2.9-9.el6                             

Dependency Installed:
  alsa-lib.x86_64 0:1.1.0-4.el6                             apr.x86_64 0:1.3.9-5.el6_9.1                  
  apr-util.x86_64 0:1.3.9-3.el6_0.1                         atk.x86_64 0:1.30.0-1.el6                     
  avahi-libs.x86_64 0:0.6.25-17.el6                         cairo.x86_64 0:1.8.8-6.el6_6                  
  cups-libs.x86_64 1:1.4.2-81.el6_10                        fontconfig.x86_64 0:2.8.0-5.el6               
  freetype.x86_64 0:2.3.11-19.el6_10                        gdb.x86_64 0:7.2-92.el6                       
  gdk-pixbuf2.x86_64 0:2.24.1-6.el6_7                       gettext-devel.x86_64 0:0.17-18.el6            
  gettext-libs.x86_64 0:0.17-18.el6                         gnutls.x86_64 0:2.12.23-22.el6                
  gtk2.x86_64 0:2.24.23-9.el6                               hicolor-icon-theme.noarch 0:0.11-1.1.el6      
  jasper-libs.x86_64 0:1.900.1-22.el6                       kernel-devel.x86_64 0:2.6.32-754.33.1.el6     
  libICE.x86_64 0:1.0.6-1.el6                               libSM.x86_64 0:1.2.1-2.el6                    
  libX11.x86_64 0:1.6.4-3.el6                               libX11-common.noarch 0:1.6.4-3.el6            
  libXau.x86_64 0:1.0.6-4.el6                               libXcomposite.x86_64 0:0.4.3-4.el6            
  libXcursor.x86_64 0:1.1.14-2.1.el6                        libXdamage.x86_64 0:1.1.3-4.el6               
  libXext.x86_64 0:1.3.3-1.el6                              libXfixes.x86_64 0:5.0.3-1.el6                
  libXft.x86_64 0:2.3.2-1.el6                               libXi.x86_64 0:1.7.8-1.el6                    
  libXinerama.x86_64 0:1.1.3-2.1.el6                        libXrandr.x86_64 0:1.5.1-1.el6                
  libXrender.x86_64 0:0.9.10-1.el6                          libXtst.x86_64 0:1.2.3-1.el6                  
  libart_lgpl.x86_64 0:2.3.20-5.1.el6                       libgcj.x86_64 0:4.4.7-23.el6                  
  libgfortran.x86_64 0:4.4.7-23.el6                         libjpeg-turbo.x86_64 0:1.2.1-3.el6_5          
  libpng.x86_64 2:1.2.49-2.el6_7                            libproxy.x86_64 0:0.3.0-10.el6                
  libproxy-bin.x86_64 0:0.3.0-10.el6                        libproxy-python.x86_64 0:0.3.0-10.el6         
  libthai.x86_64 0:0.1.12-3.el6                             libtiff.x86_64 0:3.9.4-21.el6_8               
  libxcb.x86_64 0:1.12-4.el6                                mailcap.noarch 0:2.1.31-2.el6                 
  neon.x86_64 0:0.29.3-3.el6_4                              pakchois.x86_64 0:0.4-3.2.el6                 
  pango.x86_64 0:1.28.1-11.el6                              perl-Compress-Raw-Zlib.x86_64 1:2.021-144.el6 
  perl-Compress-Zlib.x86_64 0:2.021-144.el6                 perl-Error.noarch 1:0.17015-4.el6             
  perl-Git.noarch 0:1.7.1-10.el6_10                         perl-HTML-Parser.x86_64 0:3.64-2.el6          
  perl-HTML-Tagset.noarch 0:3.20-4.el6                      perl-IO-Compress-Base.x86_64 0:2.021-144.el6  
  perl-IO-Compress-Zlib.x86_64 0:2.021-144.el6              perl-URI.noarch 0:1.40-2.el6                  
  perl-XML-Parser.x86_64 0:2.36-7.el6                       perl-libwww-perl.noarch 0:5.833-5.el6         
  pixman.x86_64 0:0.32.8-1.el6                              rsync.x86_64 0:3.0.6-12.el6                   
  systemtap-client.x86_64 0:2.9-9.el6                       systemtap-devel.x86_64 0:2.9-9.el6            
  systemtap-runtime.x86_64 0:2.9-9.el6                      xz.x86_64 0:4.999.9-0.5.beta.20091007git.el6  
  xz-lzma-compat.x86_64 0:4.999.9-0.5.beta.20091007git.el6 

Updated:
  binutils.x86_64 0:2.20.51.0.2-5.48.el6_10.1                                                             

Dependency Updated:
  rpm.x86_64 0:4.8.0-59.el6      rpm-libs.x86_64 0:4.8.0-59.el6      rpm-python.x86_64 0:4.8.0-59.el6     

Complete!
[root@node04 ~]#

　　解壓nginx源包和第三方模塊包，並進入到nginx源碼目錄下c++

　　建立nginx用戶git

　　預編譯，檢查編譯環境數據庫

./configure \
--prefix=/usr/share/nginx \
--sbin-path=/usr/sbin/nginx \
--modules-path=/usr/lib64/nginx/modules \
--conf-path=/etc/nginx/nginx.conf \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--http-client-body-temp-path=/var/lib/nginx/tmp/client_body \
--http-proxy-temp-path=/var/lib/nginx/tmp/proxy \
--http-fastcgi-temp-path=/var/lib/nginx/tmp/fastcgi \
--http-uwsgi-temp-path=/var/lib/nginx/tmp/uwsgi \
--http-scgi-temp-path=/var/lib/nginx/tmp/scgi \
--pid-path=/var/run/nginx.pid \
--lock-path=/var/lock/subsys/nginx \
--user=nginx \
--group=nginx \
--with-file-aio \
--with-ipv6 \
--with-http_ssl_module \
--with-http_v2_module \
--with-http_realip_module \
--with-http_addition_module \
--with-http_xslt_module=dynamic \
--with-http_image_filter_module=dynamic \
--with-http_geoip_module=dynamic \
--with-http_sub_module \
--with-http_dav_module \
--with-http_flv_module \
--with-http_mp4_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_random_index_module \
--with-http_secure_link_module \
--with-http_degradation_module \
--with-http_slice_module \
--with-http_stub_status_module \
--with-http_perl_module=dynamic \
--with-mail=dynamic \
--with-mail_ssl_module \
--with-pcre --with-pcre-jit \
--with-stream=dynamic \
--with-stream_ssl_module \
--with-debug \
--with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector --param=ssp-buffer-size=4 -m64 -mtune=generic' \
--with-ld-opt=' -Wl,-E' \
--add-module=../nginx_mogilefs_module-1.0.4

　　提示：咱們在最後用--add-module選項來指定要編譯的第三方模塊的源碼路徑；這樣就能夠把咱們下載的第三方模塊編譯到nginx中去，讓其支持指定的功能；centos

　　提示：出現上面的錯誤，是由於系統環境沒有libxml2或libxslt相關包；瀏覽器

　　解決辦法安裝對應的devel包便可；

yum install -y libxslt-devel

　　再次預編譯，檢查編譯環境

　　解決辦法

yum install -y gd-devel

　　解決辦法

yum install -y perl-ExtUtils-Embed

　　解決辦法

yum install  -y geoip-devel

　　提示：到此預編譯檢查環境就沒有問題了；

　　編譯和安裝

make -j 4 && make install

　　提示：-j是用於指定同時多少線程一塊兒編譯；這樣編譯要快一點；

　　提示：最後可以看到上面內容，就表示nginx編譯安裝就完成了；這裏提醒一下，在centos7上編譯安裝nginx和支持反代mogilefs的第三方模塊，在預編譯的時候沒有問題，編譯時老是編譯不過，老是出現這樣的錯誤error: variable ‘pclcf’ set but not used [-Werror=unused-but-set-variable]；在網上查了一圈，有的說把Makefile中的-werror選項去掉，去掉是可以編譯過，可是後面配置文件檢查經過不過，nginx啓動不了，會出現段錯誤；我我的估計是centos7系統上的perl環境要稍微新一些，對mogilefs的支持不是很好，因此建議使用mogilefs都跑在centos6上比較好一點；

　　提供配置文件

　　完整的配置文件內容

[root@node04 nginx]# cat /etc/nginx/nginx.conf

#user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
        upstream mogilefs_trackers {
            server 192.168.0.41:7001;
            server 192.168.0.42:7001;
        }
    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location / {
            root   html;
            index  index.html index.htm;
        }
        location /files {
           mogilefs_tracker mogilefs_trackers;
           mogilefs_domain files;
           mogilefs_class default;
           mogilefs_methods GET PUT DELETE;
    
           mogilefs_pass {
               proxy_pass $mogilefs_path;
               proxy_hide_header Content-Type;
               proxy_buffering off;
           }
            expires 1h;
        }

        location /images {
           mogilefs_tracker mogilefs_trackers;
           mogilefs_domain images;
           mogilefs_class default;
           mogilefs_methods GET PUT DELETE;

           mogilefs_pass {
               proxy_pass $mogilefs_path;
               proxy_hide_header Content-Type;
               proxy_buffering off;
           }
            expires 1h;
        }

        #error_page  404              /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        #    proxy_pass   http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        #    root           html;
        #    fastcgi_pass   127.0.0.1:9000;
        #    fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
        #    include        fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        #    deny  all;
        #}
    }


    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    #    listen       8000;
    #    listen       somename:8080;
    #    server_name  somename  alias  another.alias;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}


    # HTTPS server
    #
    #server {
    #    listen       443 ssl;
    #    server_name  localhost;

    #    ssl_certificate      cert.pem;
    #    ssl_certificate_key  cert.key;

    #    ssl_session_cache    shared:SSL:1m;
    #    ssl_session_timeout  5m;

    #    ssl_ciphers  HIGH:!aNULL:!MD5;
    #    ssl_prefer_server_ciphers  on;

    #    location / {
    #        root   html;
    #        index  index.html index.htm;
    #    }
    #}

}
[root@node04 nginx]#

View Code

　　提示：upstream是把多個tracker定義成一個組，讓用戶的請求調度到這個組上；後面的location 根據業務的規劃來定義location的名稱，一般用mogilefs中的domain來作location比較好；mogilefs_tracker用於指定tracker的地址或服務器組；mogilefs_domain用於指定mogilefs中的域，也就是文件的名稱空間；mogilefs_class用於指定class的名稱；mogilefs_methods用於指定支持的方法，若是你只容許對應location爲只讀，咱們在這裏指定一個get方法就能夠；若是還須要上傳和刪除須要把put和delete方法加上；一般加上put和delete方法後，爲了安全建議作訪問限制；後面的mogilefs_pass這個配置段是用於配置代理mogilefs的配置，其中$mogilefs_path是一個內置的變量；其做用是變量$mogilefs_path包含存儲節點上文件的絕對URL。fetch塊建立一個名爲/mogilefs_fetch_XXXXXXXX的隱藏內部位置，在跟蹤器成功響應後將在其中執行重定向。後面的proxy_hide_header用於指定代理時要隱藏的頭部；proxy_buffering用於指定是否啓用代理buffer；更多配置指令的說明請到官網http://www.grid.net.ru/nginx/mogilefs.en.html；

　　檢查配置文件語法

　　這裏提示咱們沒有client_body這個目錄

　　建立client_body目錄後再次檢查配置文件語法是否有誤

　　提示：這裏告訴咱們配置文件語法ok，這意味着nginx支持咱們編寫的配置文件；

　　啓動nginx

　　好了，到此ngxin反代mogilefs集羣的安裝配置就完成了

　　驗證：在mogilefs的tracker上使用mogupload上傳一個文件，而後用別的機器訪問nginx，看看對應的文件內容是否可以訪問到？

　　用瀏覽器訪問對應文件的key看看是否可以訪問到咱們上傳到文件呢？

　　提示：能夠看到在客戶端直接訪問nginx所在主機監聽的地址和端口+指定文件的domain+文件的key就可以訪問到對應文件的內容；