客戶端灰度發佈，NGINX+GeoIP2+GeoIP Database

時間 2020-03-06

標籤客戶端灰度發佈 nginx+geoip2+geoip nginx geoip database 欄目 Nginx 简体版

原文原文鏈接

需求的產生（分地區更新）

咱們公司呢是作電商平臺的，其主打商品裏有一款智能飲水機產品，而每臺智能飲水機產品都是裝在全國客戶的家裏。爲了售後維護須要服務端如何保存數據並傳回這塊實現較簡單，而在遠程展現水機的餘額、歸屬地、出水的質量等功能這塊是由水機自身所鑲嵌的一塊智能PAD屏所完成，其PAD內部安裝的是安卓系統；
在由開發完成新功能的開發後需迭代智能PAD屏內部安卓系統APK版本時，在更新版本這塊咱們一直作的方法是全量更新不作任何更新上的限制。但隨着業務量的增長全國大概有30萬臺水機版本須要更新，顯然以前的更新方式再也不適用於現有這種高業務量的需求了。因此咱們考慮了一個新的更新方案 "按地區更新"；html

參考的方案

1、最直接的方案是購買阿里雲的CDN，利用CDN的緩存來實現。緩存原理以下前端

經過CDN訪問的流程是：客戶端-->CDN L1--->CDN L2--->源站；
客戶端請求到的CDN節點是CDN的L1節點，當客戶端請求到CDN的L1節點向該節點請求一個資源的時候，該CDN節點會查詢本節點是否有這個資源，若有這個資源就會直接返回給客戶端。若是沒有這個資源，CDN L1節點就會向CDN的L2節點去請求資源，L2節點若是有緩存該文件，那麼L1向L2拿到數據之後就返回給客戶端。若是L2節點也沒有緩存該資源，那麼CDN的L2節點會回源向源站去請求這個資源而後返回給客戶端，而且根據具體的緩存規則把該資源緩存下來，具體緩存多久是根據緩存規則而定一旦緩存過時CDN節點就會清空該資源，等到下一次有客戶端請求到該節點的時候，CDN纔會回源去獲取數據。這裏一個L2節點是對應多個L1節點的，若是L1沒有命中緩存，L2命中了緩存，那麼最終也是命中緩存的；
若是源站更新了APK文件，而CDN緩存尚未過時的話，客戶可能會請求到老的APK數據。因此源站更新數據之後，須要到CDN上去刷新下緩存；
後來考慮項目成本的問題就放棄了；

2、採用灰度發佈node

因爲各項目的不互通性，並且灰度發佈是在代碼層實現的，很差應用到如今這個架構中；
這種灰度的方式是根據版本號來迭代，即前端+CDN+Nginx的方式；
討論過之後開發週期長，維護人員成本較高
後來思路仍是放在Nginx上，Nginx+GeoIP Modules+GeoIP Datebase；
一點想法都沒有，該花的錢仍是要花啊啊啊；

Nginx+GeoIP Modules+GeoIP Datebase

編譯Nginx引入第三方模塊，這裏注意了需引入以前已編譯成功後的第三方模塊，否則你就完了...
下載GeoIP庫傳送門，解壓到/usr/share/GeoIP目錄下。此類資源在網內csdn仍是有的比較有心；
使用系統是CentOS7.2以上版本GeoIP包已安裝（rpm -ql GeoIP），但惋惜的是它再也不自動爲您更新庫；
如編譯報錯 "the GeoIP module requires the GeoIP library"，請 yum install -y geoip-devel；
編譯後禁止make install；
make 完成後把/root/nginx-1.14.2/objs/nginx 複製到nginx應用程序目錄下並覆蓋；

[root@node1-master nginx-1.14.2]# cd /usr/share/GeoIP
[root@node1-master GeoIP]# gzip -d GeoLiteCity.dat.gz
[root@node1-master GeoIP]# ln -sv GeoLiteCity.dat GeoCity.dat
[root@node1-master ~]# wget http://nginx.org/download/nginx-1.14.2.tar.gz 
[root@node1-master ~]# tar xf nginx-1.14.2.tar.gz && cd nginx-1.14.2 
[root@node1-master nginx-1.14.2]# nginx -V
[root@node1-master nginx-1.14.2]# ./configure \
--user=nginx \
--group=nginx  \
--with-http_stub_status_module \
--prefix=/usr/local/nginx \
--conf-path=/usr/local/nginx/conf/nginx.conf \
--with-threads \
--with-http_ssl_module \
--with-pcre --with-pcre=/usr/local/nginx/modules/pcre-8.30 \
--with-http_realip_module \
--with-http_gzip_static_module \
--with-stream --with-http_slice_module \
--with-cc-opt=-DTCP_FASTOPEN=23 \
--add-module=/usr/local/nginx/modules/ngx_cache_purge-2.3 \
--add-module=/usr/local/nginx/modules/nginx_upstream_check_module \
--add-module=/usr/local/nginx/modules/file-md5-master \
--add-module=/usr/local/nginx/modyles/nginx-sticky
--with-http_geoip_module  //此模塊即爲編譯時所加入的靜態geoip模塊
[root@node1-master nginx-1.14.2]# make
[root@node1-master nginx-1.14.2]# cp ./objs/nginx /usr/local/nginx/sbin/nginx
[root@node1-master nginx-1.14.2]# nginx -V
會顯示--with-http_geoip_module此模塊證實編譯成功

Nginx 配置文件參考

user root root;
worker_processes  auto;
worker_cpu_affinity auto;
error_log /usr/local/nginx/logs/error.log  crit;
pid /var/run/nginx.pid;
worker_rlimit_nofile 65535;

events {
worker_connections 65535;
multi_accept on;
}
http {
include mime.types;
default_type application/octet-stream;
access_log logs/access.log  main;

##定義GeoIP數據庫及存儲路徑## 
geoip_city /usr/share/GeoIP/GeoCity.dat;
geoip_proxy 192.168.0.0/24;
geoip_proxy 192.168.1.0/24;
geoip_proxy_recursive on;

##結合GeoIP數據庫並引入map指令來自定義變量，充分發揮做用##
map $geoip_city $no_allowed_region {
default 1;
Shanghai yes;
Beijing yes;
Tianjin yes;
}

server {
listen 80;
listen 443 default_server;
server_name you.domain.com;
ssl on;
ssl_certificate  /usr/local/nginx/ssl/you.domain.com.crt;
ssl_certificate_key  /usr/local/nginx/ssl/you.domain.com.key;
ssl_session_timeout 5m;
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers ALL:!ADH:!EXPORT56:RC4+RSA:+HIGH:+MEDIUM:+LOW:+SSLv2:+EXP;
ssl_prefer_server_ciphers on;
root   /html;
index index.html index.htm;
try_files /index_$geoip_city.html ./index.html;

location /static {
root   /data;
    }
location ~ ^/api/pad/available {
default_type application/json;
return 200 '{"success":true}';
    }
#變量判斷#
location /files/pad/yimi-1.2.9.apk {
imit_conn addr 10;
limit_rate 100k;
if ($no_allowed_region = 1) {
return 550;
        }
    }
#變量判斷#
location /files/pad/yimipad-version.json {
limit_conn addr 10;
limit_rate 100k;
if ($no_allowed_region = 1) {
return 550;
        }
    }
location ~ ^/static/water/material {
root       /data/files;
limit_conn addr 10;
limit_rate 100k;
        }
    }
}

匹配apk文件：
當訪問的是/files/pad/yimi-1.2.9.apk文件時如下配置段被命中。if判斷讀取map指令中源變量$geoip_city的值去匹配後一個變量$no_allowed_region的值，如匹配成功則放行。其它或空則匹配默認規則，默認規則值是 default 1，若是匹配到默認規則的話在http響應狀態碼中則返回550做爲警示碼；
```
location /files/pad/yimi-1.2.9.apk {
root /data;
limit_conn addr 10;
limit_rate 100k;
if ($no_allowed_region = 1) {
return 550;
    }
}
```
匹配json文件：
當訪問的是/files/pad/yimipad-version.json文件時如下配置段被命中。if判斷讀取map指令中源變量$geoip_city的值去匹配後一個變量$no_allowed_region的值，如匹配成功則放行。其它或空則匹配默認規則，默認規則值是 default 1，若是匹配到默認規則的話在http響應狀態碼中則返回550做爲警示碼；
```
location /files/pad/yimipad-version.json {
root /data;
limit_conn addr 10;
limit_rate 100k;
if ($no_allowed_region = 1) {
return 550;
    }
}
```
默認黑名單機制 default 1，即全部請求所有拒絕。只有在map配置段中添加 CITY = YES時規則纔有效；

從GeoIP升級到GeoIP2

安裝開發包組

[root@node1-master ~]# yum groupinstall -y Development Tools
[root@node1-master ~]# yum install -y pcre-devel openssl openssl-devel zlib-devel

下載編譯libmaxmindb依賴庫

official help site https://github.com/maxmind/libmaxminddb  
[root@node1-master ~]# cd /usr/local/src && git clone --recursive https://github.com/maxmind/libmaxminddb
[root@node1-master ~]# cd libmaxminddb
[root@node1-master ~]# ./bootstrap
[root@node1-master ~]# ./configure
[root@node1-master ~]# make
[root@node1-master ~]# make install
[root@node1-master ~]# sh -c "echo /usr/local/lib  >> /etc/ld.so.conf.d/local.conf"
[root@node1-master ~]# ldconfig

平滑升級Nginx並編譯（ngx_http_geoip2_module）模塊

參考"Nginx+GeoIP Modules+GeoIP Datebase"編譯nginx的方法，必定要帶上原有參數
[root@node1-master ~]# nginx -V
[root@node1-master ~]# cd /usr/local/nginx/modules
[root@node1-master ~]# git clone --recursive https://github.com/leev/ngx_http_geoip2_module
[root@node1-master ~]# cd /root/nginx-1.14.2
[root@node1-master nginx-1.14.2]# ./configure --原有參數 --add-module=/usr/local/nginx/modules/ngx_http_geoip2_module
[root@node1-master nginx-1.14.2]# make 
[root@node1-master nginx-1.14.2]# mv /usr/local/nginx/sbin/nginx{,.baks}
[root@node1-master nginx-1.14.2]# cp objs/nginx /usr/local/nginx/sbin
[root@node1-master nginx-1.14.2]# make upgrade
若是在make upgrade的時候報錯 "make: *** [upgrade] error 1" 先徹底kill掉nginx主進程，而後使用-c選項啓動nginx，再次執行make upgrade
[root@node1-master ~]# /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
這裏把ngx_http_geoip2_module構建爲靜態模塊，若是構建爲動態模塊需Nginx版本大於1.9.11+

下載libmaxminddb數據庫文件

official help site https://dev.maxmind.com/geoip/geoip2/geolite2
[root@node1-master ~]# wget https://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz
[root@node1-master ~]# wget https://geolite.maxmind.com/download/geoip/database/GeoLite2-Country.tar.gz
[root@node1-master ~]# tar xf GeoLite2-City.tar.gz -C /usr/share/GeoIP2
[root@node1-master ~]# tar xf GeoLite2-Country.tar.gz -C /usr/share/GeoIP2

修改nginx配置替換GeoIP內容以下

##geoip2 with##
geoip2 /usr/share/GeoIP2/GeoLite2-City.mmdb {
auto_reload 60m;
$geoip2_metadata_city_build metadata build_epoch;
$geoip2_data_city_name city names en;
$geoip2_data_city_name default=Shanghai city names en;
}

##map geoip##
map $geoip2_data_city_name  $default_city_list {
default 1;
Shanghai yes;
}

##server or location##
if ($default_city_list = 1) {
        return 770;
}