centos 7.3 部署varnish緩存服務器

時間  2020-02-08
標籤 centos 7.3 部署 varnish 緩存 服務器 欄目 CentOS 简体版
原文   原文鏈接

1、簡介
Varnish是高性能開源的反向代理服務器和HTTP緩存服務器，其功能與Squid服務器類似，均可以用來作HTTP緩存。能夠安裝 varnish 在任何web前端，同時配置它緩存內容。與傳統的 squid 相比，varnish 具備性能更高、速度更快、管理更加方便等諸多優勢。有一部分企業已經在生產環境中使用其做爲舊版本的 squid的替代方案，以在相同的服務器成本下提供更好的緩存效果，Varnish 更是做爲 CDN 緩存服務器的可選服務之一。php

varnish的主要特性以下：css

  • 緩存位置：可使用內存也可使用磁盤。若是要使用磁盤的話推薦 SSD 作 RAID1；
  • 日誌存儲：日誌也存儲在內存中。存儲策略：固定大小，循環使用；
  • 支持虛擬內存的使用；
  • 有精確的時間管理機制，即緩存的時間屬性控制；
  • 狀態引擎架構：在不一樣的引擎上完成對不一樣的緩存和代理數據進行處理。能夠經過特定的配置語言設計不一樣的控制語句，以決定數據在不一樣位置以不一樣方式緩存，在特定的地方對通過的報文進行特定規則的處理；
  • 緩存管理：以二叉堆格式管理緩存數據，作到數據的及時清理。

varnish與squid相比，都是一個反向代理緩存服務器，而且都是開源的，varnish的穩定性很高，而且訪問速度很快，由於Squid是從硬盤讀取緩存的數據，而Varnish把數據存放在內存中，直接從讀取內存，避免了頻繁在內存、磁盤中交換文件，因此Varnish要相對更高效，varnish能夠支持更多的併發鏈接，由於varnish的TCP鏈接釋放要比squid快；varnish也能夠經過管理端口，使用正則表達式批量的清除部分緩存，而squid是作不到的；squid 屬因而單進程使用單核 CPU，但 Varnish 是經過 fork 形式打開多進程來作處理，因此能夠合理的使用全部核來處理相應的請求。html

上述說了不少varnish的優勢，可是varnish也並不是完美，其缺點主要有如下兩個：
一、varnish 進程一旦 Crash 或者重啓，緩存數據都會從內存中徹底釋放，此時全部請求都會
發送到後端服務器，在高併發狀況下，會給後端服務器形成很大壓力；
二、在 varnish 使用中若是單個 url 的請求經過 HA/F5 等負載均衡，則每次請求落在不一樣的varnish 服務器中，形成請求都會被穿透到後端；並且一樣的請求在多臺服務器上緩存，也會形成 varnish 的緩存的資源浪費，形成性能降低；前端

Varnish 劣勢的解決方案：
針對劣勢一：在訪問量很大的狀況下推薦使用 varnish 的內存緩存方式啓動，並且後面須要跟多臺 squid/nginx 服務器。主要爲了防止前面的 varnish 服 務、服務器被重啓的狀況下，大量請求穿透 varnish，這樣 squid/nginx 能夠就擔當第二層 CACHE，並且也彌補了varnish 緩存在內存中重啓都會釋放的問題；
針對劣勢二：能夠在負載均衡上作 url 哈希，讓單個 url 請求固定請求到一臺 varnish 服務器上;
2、Varnish 如何工做
Varnish 的master進程負責啓動工做，master進程讀取配置文件，根據指定的空間大小（例如管理員分配了2G內存）來建立存儲空間，建立並管理child進程；
而後child進程來處理後續任務，它會分配一些線程來執行不一樣的工做，例如：接受http請求、爲緩存對象分配存儲空間、清除過時緩存對象、釋放空間、碎片整理等。python

http請求處理過程以下：
一、有一個專門負責接收http請求的線程，一直監聽請求端口，當有請求過來時，負責喚起一個工做線程來處理請求，工做線程會分析http請求的uri，知道了這個請求想要什麼，就到緩存中查找是否有這個對象，若是有，就把緩存對象直接返回給用戶，若是沒有，會把請求轉給後端服務器處理，並等待結果，工做線程從後端獲得結果內容後，先把內容做爲一個緩存對象保存到緩存空間（以備下次請求這個對象時快速響應），而後再把內容返回給用戶nginx

分配緩存過程以下：web

有一個對象須要緩存時，根據這個對象的大小，到空閒緩存區中查找大小最適合的空閒塊，找到後就把這個對象放進去，若是這個對象沒有填滿這個空閒塊，就把剩餘的空間作爲一個新的空閒塊，若是空閒緩存區中沒地方了，就要先刪除一部分緩存來騰出地方，刪除是根據最近最少使用原則。正則表達式

釋放緩存過程以下：

有一個線程來負責緩存的釋放工做，他按期檢查緩存中全部對象的生存週期，若是某個對象在指定的時間段內沒有被訪問，就把這個對象刪除，釋放其佔用的緩存空間，釋放空間後，檢查一下臨近的內存空間是不是空閒的，若是是，就整合爲一個更大的空閒塊，實現空間碎片的整理。算法

更多varnish特性，請移步至varnish官方網站：https://varnish-cache.org/vim

3、部署varnish緩存服務器

環境準備：

  • 三臺centos 7.3服務器，IP分別爲192.168.171.13五、192.168.171.13四、192.168.171.132；
  • 其中IP192.168.171.135爲varnish緩存服務器，而另外兩臺爲後端web服務器，分別準備不一樣的網頁文件（我這裏將其網頁內容更改成其IP），以便驗證其緩存效果；
  • 下載我提供的varnish源碼包，並上傳至varnish服務器：https://pan.baidu.com/s/1nA1yecayUMkByzSJK_ZXpg
  • 提取碼：3gem

一、開始部署安裝varnish：

[root@varnish ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo  
#下載阿里鏡像站的repo文件
[root@varnish ~]# yum -y install libedit-devel pcre-devel python-docutils    #安裝依賴包
[root@varnish ~]# cd /usr/src        #切換至指定目錄
[root@varnish src]# rz      #上傳我提供的varnish源碼包
[root@varnish src]# tar zxf varnish-4.0.3.tar.gz         #解包
[root@varnish src]# cd varnish-4.0.3/           #進入解壓後的目錄
[root@varnish varnish-4.0.3]# ./configure && make && make install        #編譯安裝
[root@varnish varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish/     #複製模板到指定路徑
[root@varnish varnish-4.0.3]# cd !$        #切換到varnish安裝目錄下
[root@varnish varnish]# vim example.vcl          #編輯其模板配置文件，根據本身所需功能，編寫如下內容：
#
# This is an example VCL file for Varnish.
#
# It does not do anything by default, delegating control to the
# builtin VCL. The builtin VCL is called when there is no explicit
# return statement.
#
# See the VCL chapters in the Users Guide at https://www.varnish-cache.org/docs/
# and http://varnish-cache.org/trac/wiki/VCLExamples for more examples.

# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
.url="/"; #訪問後端服務器根路徑
.interval = 5s;   #請求時間間隔
.timeout = 1s;   #請求超時時間
.window = 5;    #指定輪詢次數5次
.threshold = 3;   #若是出現3次失敗則表示後端服務器宕機
}
backend web1 {    #定義後端服務器
.host = "192.168.171.134";  #要轉向主機（即後端主機）的 IP 或域名
.port = "80";  #指定後端服務器的端口號
.probe = backend_healthcheck;  #健康檢查調用backend_healthcheck定義的內容
}
backend web2 {
.host = "192.168.171.132";     
.port = "80";
.probe = backend_healthcheck;
}
acl purgers { #定義訪問控制列表
        "127.0.0.1";
        "localhost";
        "192.168.171.0/24";
        !"192.168.171.132";
}
sub vcl_init  {     #調用 vcl_init 初始化子程序建立後端主機組，即 directors
        new  web_cluster=directors.round_robin(); #使用 new 關鍵字建立 drector 對象,使用 round_robin(輪詢) 算法
        web_cluster.add_backend(web1);   #添加後端服務器節點
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend(); #指定請求的後端節點web_cluster定義的後端節點
        if (req.method == "PURGE") {   #判斷客戶端的請求頭部是不是PURGE
                if (!client.ip ~ purgers) {   #若是是，再判斷客戶端的IP地址是否是在ACL訪問控制列表中.
                        return (synth(405, "Not Allowed."));  #若是不是，返回給客戶端405狀態碼而且返回定義的頁面.
        }
        return (purge);   #若是是ACL定義的，則交給purge處理.
}
if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {      #判斷客戶端的請求類型
                return (pipe);
        }
if (req.method != "GET" && req.method != "HEAD") {
        return (pass);      #若是不是GET及HEAD則交給pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass);   #當客戶端訪問的是.php等結尾的交給pass處理.
}
if (req.http.Authorization) {
        return (pass);    #當客戶端請求的頁面類型是須要認證的，交給pass處理
}
if (req.http.Accept-Encoding) {
        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
        unset req.http.Accept-Encoding;   #取消客戶端接收的壓縮類型
        } elseif (req.http.Accept-Encoding ~ "gzip") {
                set req.http.Accept-Encoding = "gzip";  #若是有gzip類型，標記gzip類型.
        } elseif (req.http.Accept-Encoding ~ "deflate") {
                set req.http.Accept-Encoding = "deflate";
        } else {
        unset req.http.Accept-Encoding;  #其餘未定義的頁面也取消客戶但接收的壓縮類型.
        }
     }
if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie;  #取消客戶端的cookie值.
        return (hash);    #將請求轉發給hash子程序，也就是查看本地緩存.
}
if (req.restarts == 0) {  #判斷客戶端是否是第一次請求
        if (req.http.X-Forwarded-For) {     #若是是第一次請求，設置獲取客戶端的IP地址.
                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
       set req.http.X-Forwarded-For = client.ip;
        }
}
return (hash);
}
sub vcl_hash {
        hash_data(req.url);   #查看客戶端請求的頁面，而且進行hash
        if (req.http.host) {
                hash_data(req.http.host);  #設置客戶端的主機
        } else {
                hash_data(server.ip);    #設置服務器的IP
        }
        return (lookup);
}
sub vcl_hit {
        if (req.method == "PURGE") {   #若是是HIT而且當客戶端請求的類型是PURGE返回的200的狀態碼，並返回相應頁面.
                return (synth(200, "Purged."));
        }
        return (deliver);
}

sub vcl_miss {
    if (req.method == "PURGE") {
                return (synth(404, "Purged."));   #若是是miss返回404
        }
        return (fetch);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.CXK = "HIT-from-varnish"; #設置http頭部X-Cache =hit
                set resp.http.X-Cache-Hits = obj.hits;  #返回命令的次數
        } else {
        set resp.http.X-Cache = "MISS";
        }
        unset resp.http.X-Powered-By;  #取消顯示web版本
        unset resp.http.Server;    #取消顯示varnish服務
        unset resp.http.X-Drupal-Cache;   #取消顯示緩存的框架
        unset resp.http.Via;    #取消顯示文件內容來源
        unset resp.http.Link;  #取消顯示HTML的超連接地址
        unset resp.http.X-Varnish;  #取消顯示varnish的id
        set resp.http.xx_restarts_count = req.restarts;   #設置客戶端請求的次數
        set resp.http.xx_Age = resp.http.Age;   #顯示緩存文件的時長
        #set resp.http.hit_count = obj.hits;   #顯示緩存命中的次數
        #unset resp.http.Age;
        return (deliver);
}
sub vcl_pass {
        return (fetch);   #將後端服務器返回的數據緩存到本地
}
sub vcl_backend_response {
        set beresp.grace = 5m;   #緩存額外寬限時間
        if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
                set beresp.uncacheable = true;   #當後端服務器相應狀態碼是449等，不緩存
        }
        if (bereq.url ~ "\.(php|jsp)(\?|$)") {
                set beresp.uncacheable = true;  #當是PHP的頁面不緩存
        } else {
                if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
                set beresp.ttl = 15m;  #當是上面結尾的，緩存15分鐘
                unset beresp.http.Set-Cookie;
                } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
                        set beresp.ttl = 30m; #緩存30分鐘
                        unset beresp.http.Set-Cookie;
                } else {
                        set beresp.ttl = 10m;  #生存時間10分鐘
                        unset beresp.http.Set-Cookie;
                }
        }
        return (deliver);
}
sub vcl_purge {
        return (synth(200,"success"));
}
sub vcl_backend_error {
        if (beresp.status == 500 ||
                beresp.status == 501 ||
                beresp.status == 502 ||
                beresp.status == 503 ||
                beresp.status == 504) {
                return (retry);  #若是狀態碼是上述其中之一，則從新請求
        }
}
sub vcl_fini {
        return (ok);
}
#編輯完成後，保存退出後便可。
[root@varnish varnish]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
#啓動varnish服務，監聽本機全部IP的80端口，-f爲指定vcl文件，-s是指定用來存放緩存的容量
[root@varnish ~]# varnishlog   #varnish啓動後，能夠執行此命令查看其日誌。

客戶端訪問進行測試某些功能（谷歌瀏覽器訪問前按「F12」）：
centos 7.3 部署varnish緩存服務器
按「F5」刷新一下：
centos 7.3 部署varnish緩存服務器
訪問到的是咱們配置文件中指定的頭部信息，而且狀態碼爲304。
驗證ACL清除緩存配置：

在主機192.168.171.132進行清除緩存操做（varnish配置的是不容許此IP清除緩存）：

[root@localhost ~]# curl -X "PURGE" 192.168.171.135       #清除varnish的緩存

會獲得如下報錯信息：
centos 7.3 部署varnish緩存服務器
在varnish容許的IP上進行清除緩存操做（192.168.171.134主機），會看到如下成功的信息：
centos 7.3 部署varnish緩存服務器
附加：
上述完整無註釋的配置文件以下：

vcl 4.0;
import directors;
import std;
probe backend_healthcheck {
.url="/"; 
.interval = 5s;
.timeout = 1s;
.window = 5; 
.threshold = 3; 
}
backend web1 { 
.host = "192.168.171.134";  
.port = "80"; 
.probe = backend_healthcheck; 
}
backend web2 {
.host = "192.168.171.132";     
.port = "80";
.probe = backend_healthcheck;
}
acl purgers { 
        "127.0.0.1";
        "localhost";
        "192.168.171.0/24";
        !"192.168.171.132";
}
sub vcl_init  {  
        new  web_cluster=directors.round_robin();
        web_cluster.add_backend(web1); 
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend(); 
        if (req.method == "PURGE") {  
                if (!client.ip ~ purgers) {   
                        return (synth(405, "Not Allowed.")); 
        }
        return (purge); 
}
if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {   
                return (pipe);
        }
if (req.method != "GET" && req.method != "HEAD") {
        return (pass);
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass); 
}
if (req.http.Authorization) {
        return (pass);  
}
if (req.http.Accept-Encoding) {
        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
        unset req.http.Accept-Encoding; 
        } elseif (req.http.Accept-Encoding ~ "gzip") {
                set req.http.Accept-Encoding = "gzip"; 
        } elseif (req.http.Accept-Encoding ~ "deflate") {
                set req.http.Accept-Encoding = "deflate";
        } else {
        unset req.http.Accept-Encoding;
        }
     }
if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie; 
        return (hash);   
}
if (req.restarts == 0) { 
        if (req.http.X-Forwarded-For) {   
                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
       set req.http.X-Forwarded-For = client.ip;
        }
}
return (hash);
}
sub vcl_hash {
        hash_data(req.url);  
        if (req.http.host) {
                hash_data(req.http.host); 
        } else {
                hash_data(server.ip);  
        }
        return (lookup);
}
sub vcl_hit {
        if (req.method == "PURGE") {  
                return (synth(200, "Purged."));
        }
        return (deliver);
}

sub vcl_miss {
    if (req.method == "PURGE") {
                return (synth(404, "Purged."));
        }
        return (fetch);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.CXK = "HIT-from-varnish";
                set resp.http.X-Cache-Hits = obj.hits; 
        } else {
        set resp.http.X-Cache = "MISS";
        }
        unset resp.http.X-Powered-By; 
        unset resp.http.Server;    
        unset resp.http.X-Drupal-Cache; 
        unset resp.http.Via; 
        unset resp.http.Link; 
        unset resp.http.X-Varnish; 
        set resp.http.xx_restarts_count = req.restarts;  
        set resp.http.xx_Age = resp.http.Age; 
        #set resp.http.hit_count = obj.hits; 
        #unset resp.http.Age;
        return (deliver);
}
sub vcl_pass {
        return (fetch);  
}
sub vcl_backend_response {
        set beresp.grace = 5m; 
        if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
                set beresp.uncacheable = true;
        }
        if (bereq.url ~ "\.(php|jsp)(\?|$)") {
                set beresp.uncacheable = true; 
        } else {
                if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
                set beresp.ttl = 15m; 
                unset beresp.http.Set-Cookie;
                } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
                        set beresp.ttl = 30m;
                        unset beresp.http.Set-Cookie;
                } else {
                        set beresp.ttl = 10m;
                        unset beresp.http.Set-Cookie;
                }
        }
        return (deliver);
}
sub vcl_purge {
        return (synth(200,"success"));
}
sub vcl_backend_error {
        if (beresp.status == 500 ||
                beresp.status == 501 ||
                beresp.status == 502 ||
                beresp.status == 503 ||
                beresp.status == 504) {
                return (retry); 
        }
}
sub vcl_fini {
        return (ok);
}

若想實現varnish的緩存功能，經過如下基本的定義便可實現（example.vcl文件中有如下內容便可）：

vcl 4.0;
import directors;
probe backend_healthcheck {
        .url = "/";
        .timeout = 1s;
        .interval = 5s;
        .window = 5;
        .threshold = 3;
}
backend web1 {
        .host = "192.168.171.134";
        .port = "80";
        .probe = backend_healthcheck;
}
backend web2 {
        .host = "192.168.171.132";
        .port = "80";
        .probe = backend_healthcheck;
}
sub vcl_init {
        new web_cluster = directors.round_robin();
        web_cluster.add_backend(web1);
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend();
}
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程