部署Varnish緩存搭理服務器

時間  2019-12-17
標籤 部署 varnish 緩存 搭理 服務器 简体版
原文   原文鏈接

博文大綱：
1、Varnish概述
1.Varnish簡介
2.Varnish和squid的區別
3.Varnish的工做原理
4.Varnish架構
5.Varnish配置
6.VCL中內置預設變量
7.VCL的子程序
8.特定功能語句
9.return語句
10.Varnish請求處理的步驟
11.Varnish的優雅模式
2、安裝Varnish
1.客戶端訪問測試緩存
2.服務端測試清除緩存
3.配置http服務器的訪問獲取客戶端的IP地址php

1、Varnish概述

1.Varnish簡介

Varnish是一款高性能且開源的反向代理服務器和HTTP加速器，其採用全新的軟件體系機構，和如今的硬件體系緊密配合。與傳統的squid相比，Varnish具備高性能、速度快、管理更加方便等優勢，目前不少大型的網站都開始嘗試使用Varnish來代替squid，這即是Varnish迅速發展的最根本的緣由。css

Varnish的主要特徵：html

  • （1）緩存代理位置：可使用內存也可使用磁盤；
  • （2）日誌存儲：日誌存儲在內存中；
  • （3）支持虛擬內存的使用；
  • （4）有精確的時間管理機制，即緩存的時間屬性控制；
  • （5）狀態引擎架構：在不一樣的引擎上完成對不一樣的緩存和代理數據進行處理；
  • （6）緩存管理：以二叉堆管理緩存數據，作到數據的及時清理；

2.Varnish和squid的區別

相同點：python

  • 都是一個反向代理服務器；
  • 都是開源軟件；

Varnish的優點：web

  • （1）穩定性：Varnish和Squid在完成相同負載的工做時，Squid服務器發生故障的概率要高於Varnish，由於使用Squid須要常常重啓；
  • （2）訪問速度更快：Varnish全部緩存的數據都是直接從內存中讀取，而Squid是從硬盤中讀取；
  • （3）支持更多的併發鏈接：由於Varnish的TCP鏈接和釋放的速度比Squid快不少

Varnish的缺陷：正則表達式

  • （1）Varnish進程一旦重啓，緩存數據都會從內存中徹底釋放，此時全部請求都會發送到後端服務器，在高併發狀況下，會給後端服務器形成很大壓力；
  • （2）在Varnish使用中若是使用單個URL的請求經過負載均衡時，則每次請求都會落在不一樣的Varnish服務器中，形成請求都會到後端服務器；並且一樣的秦桂在多臺服務器上緩存，也會形成Varnish的緩存資源的浪費，形成性能降低；

Varnish缺陷的解決方案：算法

  • 針對缺陷（1）：在訪問量很大的狀況下推薦使用Varnish的內存緩存方式啓動，並且後面須要跟多臺Nginx服務器（做爲反向代理）。主要防止Varnish服務器重啓的狀況下，大量的請求到達後端服務器；這樣Nginx就是第二道緩存代理服務器。防止請求過多時給後端服務器形成較大的壓力；
  • 針對缺陷（2）：能夠在負載均衡上作URL哈希，讓單個URL請求固定到一臺Varnish服務器上；

3.Varnish的工做原理

當Varnish服務器收到客戶端的請求時，首選檢查緩存中是否有數據，若是有，則直接響應客戶端；若是沒有則向後端服務器請求相應的資源，緩存到Varnish服務器本地，再響應客戶端；express

根據規則和請求頁面的類型選擇數據是否須要進行緩存，能夠根據請求頭中Cache-Contorl判斷是否緩存，以及cookis是否有標記，這些功能均可以經過編寫配置文件的方式來實現。vim

4.Varnish架構

Varnish分爲management進程和child進程：後端

  • management進程：對child進程進行管理，同事對VCL配置進行編譯，並應用到不一樣的狀態引擎中；
  • child進程：生成線程池，負責對用戶請求進行處理，並經過hash查找返回用戶結果；

child進程生成的常見線程有：

  • accept線程：接收新的鏈接請求並響應；
  • worker線程：會話，處理請求資源；
  • expiry線程：清除緩存中過時的內容；

5.Varnish配置

Varnish主要配置部分：

  • 後端配置：給Varnish添加反向代理服務器節點，最少配置一個；
  • ACL配置：給Varnish添加訪問控制列表，能夠指定這些列表訪問或禁止訪問；
  • probes配置：給Varnish添加探測後端服務器是否正常的規則，方便切換或禁止對應後端服務器；
  • directors配置：給Varnish添加負載均衡模式管理多個後端服務器；
  • 核心子程序配置：給Varnish添加後端服務器切換，請求緩存、訪問控制、錯誤處理等規則；

6.VCL中內置預設變量

如圖：
部署Varnish緩存搭理服務器

  • req：客戶端請求Varnish服務器時可用的變量；
  • bereq：Varnish服務器請求後端服務器可用的變量；
  • beresp：後端服務器響應Varnish服務器請求，並返回結果時，使用的變量；
  • resp：Varnish服務器響應客戶端請求是使用的變量；
  • obj：高速緩存對象，緩存後端響應請求內容；
  • now：做用就是返回當前的時間戳；

7.VCL的子程序

客戶端基本信息：

  • Client ip：返回客戶端的IP地址；
  • Client port：獲取客戶端請求的端口號（需調用std）；
  • Client.identiy：獲取客戶端標識碼；

服務端基本信息：

  • Server.hostname：服務器主機名；
  • Server.identiy：獲取服務器標識碼；
  • Server.ip：獲取服務器IP地址；
  • Server.prot：獲取服務器IP端口號（需調用std模塊）；

客戶端請求（req） ：

  • Req：整個請求的數據結構；
  • req.bachend_hint：指定請求後端節點 如gif 給圖片服務器 （hint暗示）當訪問時gif時 設置客戶端的請求req.bachend_hint=圖片服務器地址；
  • Req.can_gzip：客戶端是否接受gzip傳輸編碼；
  • req.hash_always_miss：是否從緩存中讀取數據；
  • req.hash_ignore_busy： 忽略緩存中忙碌的數據；
  • req.http：對應請求http的header；
  • req.method ：請求類型或者請求的方式；
  • req.proto：客戶端請求使用的http協議的版本；
  • req.restarts：從新啓動次數，默認最大值是4（一般用於判斷是否訪問過服務器）；
  • req.url：請求的url；
  • req.xid：請求的惟一ID號；

varnish請求後端服務器（bereq）：

  • bereq：整個後端請求的數據結構；
  • bereq.backend：所請求後端節點的配置；
  • bereq.between_bytes_timeout：從後端每接收一個字節之間的等待時間或者超時時間；
  • bereq.http：對應發送到後端的http的頭部信息；
  • bereq.method： 發送到後端的請求類型或者請求方式；
  • bereq.proto：發送到後端的請求的http協議版本；
  • bereq.retires：相同請求重試計數；
  • bereq.uncacheable：請求數據沒有被緩存，或者請求不緩存；
  • bereq.url：發送到後端請求的url；
  • bereq.xid：請求惟一id；

後端服務器向varnish（beresq）：

  • Beresp：後端服務器響應數據；
  • Beresp.backend.ip：後端響應（處理請求數據）服務器的IP地址；
  • Beresp.backend.name：後端響應服務器的節點名；
  • Beresp.do_gunzip：默認爲false，緩存前解壓改對象；
  • Beresp.grace：設置緩存過時的額外寬限時間；
  • Beresp.http：響應時http的頭部；
  • Beresp.keep：對象緩存後帶保持時間；
  • Beresp.proto：響應的http版本；
  • Beresp.reason ：後端服務器返回的http狀態信息；
  • Beresp.status：後端服務器返回的在狀態碼；
  • Beresp.storage_hint：指定保存的的特定存儲器（內存）；
  • Beresp.ttl：改對象緩存的剩餘時間，指定統一緩存剩餘時間；
  • Beresp,uncacheable：對數據不進行緩存；

高速緩存對象（obj）：

  • obj.grace：該對象額外寬限時間；
  • obj.hits：緩存命中次數，通常能夠用於判斷是否有緩存；
  • obj.http：對應 HTTP 的 header；
  • obj.proto：HTTP版本；
  • obj.reason：服務器返回的 HTTP 狀態；
  • obj.status：服務器返回的狀態碼；
  • obj.ttl：該對象緩存剩餘時間（秒）；
  • obj.uncacheable：不緩存；

返回給客戶端的響應對象（resp）：

  • resp：整個響應 數據結構；
  • resp.http：對應 HTTP 的 header；
  • resp.proto：編輯響應的 HTTP 協議版本；
  • resp.reason：將要返回的 HTTP 狀態信息；
  • resq.status：將要返回的 HTTP 狀態；

8.特定功能語句

  • Ban（expression）：清除指定對象緩存；
  • Call(subroutine)：調用子程序；
  • Hash_data（input）：根據input的子程序的值生成hash鍵；
  • New（）：建立新的vcl對象，只能在vcl_init 子進程中；
  • Return（）：結束當前子程序，並指定繼續下一步動做；
  • Rollback()：恢復 HTTP 頭到原來狀態，已經棄用，使用 std.rollback() 代替；
  • Synthetic （STRING）：合成器，定義返回給客戶端頁面和狀態碼；
  • Regsub（str，regex，sub）使用正則表達式替換第一次出現的字符串；
  • Regsuball（str，regex,sub）替換全部出現的字符串；

9.return語句

return 語句是終止子程序並返回動做，全部動做都根據不一樣的 vcl 子程序限定來選用的。

語法：return （action）；

經常使用的選項：

  • abandon：放棄處理，並生成一個錯誤；
  • deliver：交付處理；
  • fetch：從後端取出響應對象；
  • hash：哈希緩存處理；
  • lookup：查找緩存；
  • ok：繼續執行；
  • pass：進入 pass 非緩存模式；
  • pipe：進入 pipe 非緩存模式；
  • purge：清除緩存對象，構建響應；
  • restart：從新開始retry 重試後端處理；
  • synth(status code,reason)：合成返回客戶端狀態；

10.Varnish請求處理的步驟

如圖：
部署Varnish緩存搭理服務器

VCL處理過程大體分爲以下幾個步驟:
(1)Receive 狀態,也就是請求處理的入口狀態,根據 VCL 規則判斷該請求應該是 Pass 或Pipe,或者進入 Lookup(本地查詢)；
(2)Lookup 狀態,進入此狀態後,會在 hash 表中查找數據,若找到,則進入 Hit 狀態,不然進入 miss 狀態；
(3)Pass 狀態,在此狀態下,會進入後端請求,即進入 fetch 狀態；
(4)Fetch 狀態,在 Fetch 狀態下,對請求進行後端的獲取,發送請求,得到數據,並進行本地存儲；
(5)Deliver 狀態, 將獲取到的數據發送給客戶端,而後完成本次請求；

11.Varnish的優雅模式

當幾個客戶端請求同一個頁面的時候，varnish 只發送一個請求到後端服務器，而後讓其餘幾個請求掛起並等待返回結果；得到結果後，其它請求再複製後端的結果發送給客戶端；但若是同時有數以千計的請求，那麼這個等待隊列將變得龐大，這將致使 2 類潛在問題：驚羣問題(thundering herd problem)，即忽然釋放大量的線程去複製後端返回的結果，將致使負載急速上升；沒有用戶喜歡等待；

故爲了解決這類問題，能夠配置 varnish 在緩存對象因超時失效後再保留一段時間，以給那些等待的請求返回過去的文件內容(stale content)，配置案例以下：

sub vcl_recv {
 if (! req.backend.healthy) {   #判斷後端服務器的健康狀態
 set req.grace = 5m;    #若是後端服務器不健康，客戶端額外緩存15分鐘
}else {
 set req.grace = 15s; }  #正常額外緩存時間15秒
}
sub vcl_fetch { 
set beresp.grace = 30m;  #定義緩存過時後額外緩存時間30分鐘
}

2、安裝Varnish

獲取Varnish軟件包

[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel  pkgconfig python-docutils python-sphinx
//安裝Varnish所需依賴
[root@localhost ~]# tar zxf varnish-4.0.3.tar.gz  -C /usr/src
[root@localhost ~]# cd /usr/src/varnish-4.0.3/
[root@localhost varnish-4.0.3]# ./configure && make && make install              //編譯安裝Varnish
[root@localhost ~]# cp /usr/src/varnish-4.0.3/etc/example.vcl /usr/local/var/varnish/
//複製Varnish主配置文件
[root@localhost ~]# vim /usr/local/var/varnish/example.vcl             //編譯Varnish主配置文件
#
# This is an example VCL file for Varnish.
#
# It does not do anything by default, delegating control to the
# builtin VCL. The builtin VCL is called when there is no explicit
# return statement.
#
# See the VCL chapters in the Users Guide at https://www.varnish-cache.org/docs/
# and http://varnish-cache.org/trac/wiki/VCLExamples for more examples.

# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
        .url="/"; #訪問後端服務器根路徑
        .interval = 5s;   #請求時間間隔
        .timeout = 1s;   #請求超時時間
        .window = 5;    #指定輪詢次數5次
        .threshold = 3;   #若是出現3次失敗則表示後端服務器異常
}
backend web1 {    #定義後端服務器
        .host = "192.168.1.7";  #要轉向主機（即後端主機）的 IP 或域名
        .port = "80";  #指定後端服務器的端口號
        .probe = backend_healthcheck;  #健康檢查調用backend_healthcheck定義的內容
}
backend web2 {
        .host = "192.168.1.8";
        .port = "80";
        .probe = backend_healthcheck;
}
acl purgers { #定義訪問控制列表
        "127.0.0.1";
        "localhost";
        "192.168.1.0/24";
        !"192.168.1.8";
}
sub vcl_init  {     #調用 vcl_init 初始化子程序建立後端主機組，即 directors
        new  web_cluster=directors.round_robin(); #使用 new 關鍵字建立 drector 對象,使用 round_robin(輪詢) 算法
        web_cluster.add_backend(web1);   #添加後端服務器節點
        web_cluster.add_backend(web2);
}
sub vcl_recv {
        set req.backend_hint = web_cluster.backend(); #指定請求的後端節點web_cluster定義的後端節點
        if (req.method == "PURGE") {   #判斷客戶端的請求頭部是不是PURGE
                if (!client.ip ~ purgers) {   #若是是，再判斷客戶端的IP地址是否是在ACL訪問控制列表中.
                        return (synth(405, "Not Allowed."));  #若是不是，返回給客戶端405狀態碼而且返回定義的頁面.
        }
        return (purge);   #若是是ACL定義的，則交給purge處理.
}
if (req.method != "GET" &&
        req.method != "HEAD" &&
        req.method != "PUT" &&
        req.method != "POST" &&
        req.method != "TRACE" &&
        req.method != "OPTIONS" &&
        req.method != "PATCH" &&
        req.method != "DELETE") {      #判斷客戶端的請求類型
                return (pipe);
        }
if (req.method != "GET" && req.method != "HEAD") {
        return (pass);      #若是不是GET及HEAD則交給pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
        return (pass);   #當客戶端訪問的是.php等結尾的交給pass處理.
}
if (req.http.Accept-Encoding) {
        if  (req.url  ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
        unset req.http.Accept-Encoding;   #取消客戶端接收的壓縮類型
        } elseif (req.http.Accept-Encoding ~ "gzip") {
                set req.http.Accept-Encoding = "gzip";  #若是有gzip類型，標記gzip類型.
        } elseif (req.http.Accept-Encoding ~ "deflate") {
                set req.http.Accept-Encoding = "deflate";
        } else {
        unset req.http.Accept-Encoding;  #其餘未定義的頁面也取消客戶但接收的壓縮類型.
        }
     }
if  (req.url  ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
        unset req.http.cookie;  #取消客戶端的cookie值.
        return (hash);    #將請求轉發給hash子程序，也就是查看本地緩存.
}
if (req.restarts == 0) {  #判斷客戶端是否是第一次請求
        if (req.http.X-Forwarded-For) {     #若是是第一次請求，設置獲取客戶端的IP地址.
                set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
        } else {
       set req.http.X-Forwarded-For = client.ip;
        }
}
return (hash);
}
sub vcl_hash {
        hash_data(req.url);   #查看客戶端請求的頁面，而且進行hash
        if (req.http.host) {
                hash_data(req.http.host);  #設置客戶端的主機
        } else {
                hash_data(server.ip);    #設置服務器的IP
        }
        return (lookup);
}
sub vcl_hit {
        if (req.method == "PURGE") {   #若是是HIT而且當客戶端請求的類型是PURGE返回的200的狀態碼，並返回相應頁面.
                return (synth(200, "Purged."));
        }
        return (deliver);
}
sub vcl_miss {
    if (req.method == "PURGE") {
                return (synth(404, "Purged."));   #若是是miss返回404
        }
        return (fetch);
}
sub vcl_deliver {
        if (obj.hits > 0) {
                set resp.http.CXK = "HIT-from-varnish"; #設置http頭部X-Cache =hit
                set resp.http.X-Cache-Hits = obj.hits;  #返回命令的次數
        } else {
        set resp.http.X-Cache = "MISS";
        }
        unset resp.http.X-Powered-By;  #取消顯示web版本
        unset resp.http.Server;    #取消顯示varnish服務
        unset resp.http.X-Drupal-Cache;   #取消顯示緩存的框架
        unset resp.http.Via;    #取消顯示文件內容來源
        unset resp.http.Link;  #取消顯示HTML的超連接地址
        unset resp.http.X-Varnish;  #取消顯示varnish的id
        set resp.http.xx_restarts_count = req.restarts;   #設置客戶端請求的次數
        set resp.http.xx_Age = resp.http.Age;   #顯示緩存文件的時長
        #set resp.http.hit_count = obj.hits;   #顯示緩存命中的次數
        #unset resp.http.Age;
        return (deliver);
}
sub vcl_pass {
        return (fetch);   #將後端服務器返回的數據緩存到本地
}
sub vcl_backend_response {
        set beresp.grace = 5m;   #緩存額外寬限時間
        if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
                set beresp.uncacheable = true;   #當後端服務器相應狀態碼是449等，不緩存
        }
        if (bereq.url ~ "\.(php|jsp)(\?|$)") {
                set beresp.uncacheable = true;  #當是PHP的頁面不緩存
        } else {
                if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
                set beresp.ttl = 15m;  #當是上面結尾的，緩存15分鐘
                unset beresp.http.Set-Cookie;
                } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
                        set beresp.ttl = 30m; #緩存30分鐘
                        unset beresp.http.Set-Cookie;
                } else {
                        set beresp.ttl = 10m;  #生存時間10分鐘
                        unset beresp.http.Set-Cookie;
                }
        }
        return (deliver);
}
sub vcl_purge {
        return (synth(200,"success"));
}
sub vcl_backend_error {
        if (beresp.status == 500 ||
                beresp.status == 501 ||
                beresp.status == 502 ||
                beresp.status == 503 ||
                beresp.status == 504) {
                return (retry);  #若是狀態碼是上述其中之一，則從新請求
        }
}
sub vcl_fini {
        return (ok);
}
[root@localhost ~]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
//啓動varnish服務
//-f指定配置文件存放位置；-s指定啓動時使用的內存大小；-a指定監聽的地址與端口
[root@localhost ~]# netstat -anpt | grep 80
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      10508/varnishd  
//肯定80端口已經在監聽

自行搭建兩臺http服務器（訪問頁面建議不要同樣）！

1.客戶端訪問測試緩存

首次訪問：
部署Varnish緩存搭理服務器
按F5刷新後的結果：
部署Varnish緩存搭理服務器

2.服務端測試清除緩存

注意：測試時清除緩存！

web服務器（192.168.1.7）

[root@localhost ~]# curl -X "PURGE" 192.168.1.6
//指定192.168.1.6的緩存服務器，清除緩存

測試訪問以下：
部署Varnish緩存搭理服務器

web服務器（192.168.1.8）

[root@localhost ~]# curl -X "PURGE" 192.168.1.6
//指定192.168.1.6的緩存服務器，清除緩存

測試訪問以下：
部署Varnish緩存搭理服務器

測試完成！

3.配置http服務器的訪問獲取客戶端的IP地址

若是不配置的狀況下，http服務器只會記錄Varnish服務器的IP地址，上面Varnish配置文件中已經配置完成。那麼httpd的配置以下：

[root@localhost ~]# vim /etc/httpd/conf/httpd.conf               //修改http主配置文件
196     LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
197     LogFormat "%h %l %u %t \"%r\" %>s %b" common
//添加如下內容，使http服務能夠截取到客戶端的IP地址
198     LogFormat "%{X-Forwarded-For}i %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-    Agent}i\"" combined
//X-Forwarded-For參數已經在Varnish配置文件中定義
[root@localhost ~]# systemctl restart httpd                //從新啓動http服務

兩臺http服務器都需配置（防止時間過長切換到另外一臺服務器）。

注意：測試時清除緩存！

客戶端依然訪問Varnish服務器，http訪問日誌以下：
部署Varnish緩存搭理服務器

測試完成！！！

——————————————本文到此爲止，感謝觀看————————————

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程