博文結構
Varnish的概述與工做原理等等
安裝Varnish緩存代理服務器php
Varnish是一款高性能且開源的反向代理服務器和HTTP加速器,其採用全新的軟件體系機構,和如今的硬件體系緊密配合。與傳統的squid相比,Varnish具備高性能、速度快、管理更加方便等優勢,目前不少大型的網站都開始嘗試使用Varnish來代替squid,這即是Varnish迅速發展的最根本的緣由。css
Varnish的主要特徵:html
(1)緩存代理位置:可使用內存也可使用磁盤; (2)日誌存儲:日誌存儲在內存中; (3)支持虛擬內存的使用; (4)有精確的時間管理機制,即緩存的時間屬性控制; (5)狀態引擎架構:在不一樣的引擎上完成對不一樣的緩存和代理數據進行處理; (6)緩存管理:以二叉堆管理緩存數據,作到數據的及時清理;
都是開源軟件; 都是一個反向代理服務器;
(1)穩定性:Varnish和Squid在完成相同負載的工做時,Squid服務器發生故障的概率要高於Varnish,由於使用Squid須要常常重啓; (2)訪問速度更快:Varnish全部緩存的數據都是直接從內存中讀取,而Squid是從硬盤中讀取; (3)支持更多的併發鏈接:由於Varnish的TCP鏈接和釋放的速度比Squid快不少
(1)Varnish進程一旦重啓,緩存數據都會從內存中徹底釋放,此時全部請求都會發送到後端服務器,在高併發狀況下,會給後端服務器形成很大壓力; (2)在Varnish使用中若是使用單個URL的請求經過負載均衡時,則每次請求都會落在不一樣的Varnish服務器中,形成請求都會到後端服務器;並且一樣的秦桂在多臺服務器上緩存,也會形成Varnish的緩存資源的浪費,形成性能降低;
針對劣勢一:在訪問量很大的狀況下推薦使用 varnish 的內存緩存方式啓動,並且後面須要 跟多臺 squid/nginx 服務器。主要爲了防止前面的 varnish 服 務、服務器被重啓的狀況下, 大量請求穿透 varnish,這樣 squid/nginx 能夠就擔當第二層 CACHE,並且也彌補了 varnish 緩 存在內存中重啓都會釋放的問題; 針對劣勢二:能夠在負載均衡上作 url 哈希,讓單個 url 請求固定請求到一臺 varnish 服務器 上;
當Varnish服務器收到客戶端的請求時,首選檢查緩存中是否有數據,若是有,則直接響應客戶端;若是沒有則向後端服務器請求相應的資源,緩存到Varnish服務器本地,再響應客戶端;python
根據規則和請求頁面的類型選擇數據是否須要進行緩存,能夠根據請求頭中Cache-Contorl判斷是否緩存,以及cookis是否有標記,這些功能均可以經過編寫配置文件的方式來實現。nginx
management進程:對child進程進行管理,同事對VCL配置進行編譯,並應用到不一樣的狀態引擎中; child進程:生成線程池,負責對用戶請求進行處理,並經過hash查找返回用戶結果;
accept線程:接收新的鏈接請求並響應; worker線程:會話,處理請求資源; expiry線程:清除緩存中過時的內容;
後端配置:給Varnish添加反向代理服務器節點,最少配置一個; ACL配置:給Varnish添加訪問控制列表,能夠指定這些列表訪問或禁止訪問; probes配置:給Varnish添加探測後端服務器是否正常的規則,方便切換或禁止對應後端服務器; directors配置:給Varnish添加負載均衡模式管理多個後端服務器; 核心子程序配置:給Varnish添加後端服務器切換,請求緩存、訪問控制、錯誤處理等規則;
如圖web
(1)req:客戶端請求Varnish服務器時可用的變量; (2)bereq:Varnish服務器請求後端服務器可用的變量; (3)beresp:後端服務器響應Varnish服務器請求,並返回結果時,使用的變量; (4)resp:Varnish服務器響應客戶端請求是使用的變量; (5)obj:高速緩存對象,緩存後端響應請求內容; (6)now:做用就是返回當前的時間戳;
Clienet.ip:返回客戶端的IP地址 Client.port:獲取客戶端請求的端口號(在vatnish4.0之後須要調取std模塊才能使用)語法爲 import std; std.port(client.ip) Client.identiy 獲取客戶端標識碼,軟件在安裝過程當中會生成一個序列號,用來標識身份
Server.hostname:服務器主機名 Server.identiy:獲取服務器標識碼 Server.ip:獲取服務器IP地址 Server.prot:獲取服務器IP端口號,須要調用std模塊
Req:整個請求的數據結構 req.bachend_hint:指定請求後端節點 如gif 給圖片服務器 Req.can_gzip:客戶端是否接受gzip傳輸編碼(一般瀏覽器支持全部壓縮格式) req.hash_always_miss:是否從緩存中讀取數據 req.hash_ignore_busy: 忽略緩存中忙碌的數據 死鎖(如兩臺varnish服務器在處理過程當中共同爭搶一個資源形成堵塞,若是不手動中止則會僵持支持僵持下去) req.http:對應請求http的header req.method :請求類型或者請求的方式(如gt,post) req.proto:客戶端請求使用的http協議的版本 req.restarts:從新啓動次數,默認最大值是4(一般用於判斷是否訪問過服務器) req.url:請求的url req.xid:惟一id,varnish服務器訪問時在頭部增長了X-varnish,後面的數字是varnish的id,第一個數據是請求的標識id,第二個數據是緩存的標識id
bereq:整個後端請求的數據結構 bereq.backend:所請求後端節點的配置 bereq.between_bytes_timeout:從後端每接收一個字節之間的等待時間或者超時時間 bereq.http:對應發送到後端的http的頭部信息 bereq.method: 發送到後端的請求類型或者請求方式 bereq.proto:發送到後端的請求的http協議版本 bereq.retires:相同請求重試計數 bereq.uncacheable:請求數據沒有被緩存,或者請求不緩存 bereq.url:發送到後端請求的url bereq.xid:請求惟一id
Beresp:後端服務器響應數據 Beresp.backend.ip:後端響應(處理請求數據)服務器的IP地址 Beresp.backend.name:後端響應服務器的節點名 Beresp.do_gunzip:默認爲false,緩存前解壓改對象 Beresp.grace:設置緩存過時的額外寬限時間 Beresp.http:響應時http的頭部 Beresp.keep:對象緩存後帶保持時間 Beresp.proto:響應的http版本 Beresp.reason :後端服務器返回的http狀態信息 Beresp.status:後端服務器返回的在狀態碼 Beresp.storage_hint:指定保存的的特定存儲器(內存) Beresp.ttl:改對象緩存的剩餘時間,指定統一緩存剩餘時間 Beresp,uncacheable:對數據不進行緩存
Storage.<name>.free_space:存儲可用空間(字節數) Storage.<name>.used_space:存儲剩餘時間(字節數) Storage.<name>.happy:存儲節點狀態 deliver將數據發送給客戶端,返回的數據 fetch從後端獲取數據,並將數據緩存到本地
Ban(expression):清除指定對象緩存; Call(subroutine):調用子程序; Hash_data(input):根據input的子程序的值生成hash鍵; New():建立新的vcl對象,只能在vcl_init 子進程中; Return():結束當前子程序,並指定繼續下一步動做; Rollback():恢復 HTTP 頭到原來狀態,已經棄用,使用 std.rollback() 代替; Synthetic (STRING):合成器,定義返回給客戶端頁面和狀態碼; Regsub(str,regex,sub)使用正則表達式替換第一次出現的字符串; Regsuball(str,regex,sub)替換全部出現的字符串;
如圖正則表達式
Receive 狀態(vcl_recv)。也就是請求處理的入口狀態,根據 VCL 規則判斷該請求應該 pass(vcl_pass)或是 pipe(vcl_pipe),仍是進入 lookup(本地查詢)。 Lookup 狀態。進入該狀態後,會在 hash 表中查找數據,若找到,則進入 hit(vcl_hit)狀態,不然進入 miss(vcl_miss)狀態。 Pass(vcl_pass)狀態。在此狀態下,會直接進入後端請求,即進入 fetch(vcl_fetch)狀態 Fetch(vcl_fetch)狀態。在 fetch 狀態下,對請求進行後端獲取,發送請求,得到數據,並根據設置進行本地存儲。 Deliver(vcl_deliver)狀態。將獲取到的數據發給客戶端,而後完成本次請求。 Pipe狀態。創建客戶端和服務器之間的直接鏈接,從後端服務器調取數據
vcl_recv 子程序: 開始處理請求,經過 return (動做); vcl_pipe 子程序: pipe 模式處理,該模式主要用於直接取後端響應內容返回客戶端,可定義響應內容返回客戶端。 vcl_pass 子程序: pass 模式處理,該模式相似 hash 緩存模式,僅不作緩存處理. vcl_hit 子程序: hash 緩存模式時,存在 hash 緩存時調用,用於緩存處理,可放棄或修改緩存. vcl_miss 子程序: hash 緩存模式時,不存在 hash 緩存時調用,用於判斷性的選擇進入後端取響應內容,能夠 修改成 pass 模式。 vcl_hash 子程序: hash緩存模式,生成hash值做爲緩存查找鍵名提取緩存內容,主要用於緩存hash鍵值處理, 可以使用 hash_data(string) 指定鍵值組成結構,可在同一個頁面經過 IP 或 cookie 生成不一樣的 緩存鍵值。 vcl_purge 子程序: 清理模式,當查找到對應的緩存時清除並調用,用於請求方法清除緩存,並報告 vcl_deliver 子程序: 客戶端交付子程序,在 vcl_backend_response 子程序後調用(非 pipe 模式),或 vcl_hit 子程 序後調用,可用於追加響應頭信息,cookie 等內容。 vcl_backend_fetch 子程序: 發送後端請求以前調用,可用於改變請求地址或其它信息,或放棄請求。 vcl_backend_response 子程序: 後端響應後調用,可用於修改緩存時間及緩存相關信息。 vcl_backend_error 子程序: 後端處理失敗調用,異常頁面展現效果處理,可自定義錯誤響應內容,或修改 beresp.status 與 beresp.http.Location 重定向等。 vcl_synth 子程序: 自定義響應內容。能夠經過 synthetic()和返回值 synth 調用,這裏能夠自定義異常顯示 內容,也能夠修改 resp.status 與 resp.http.Location 重定向。 vcl_init 子程序: 加載 vcl 時最早調用,用於初始化 VMODs,該子程序不參與請求處理,僅在 vcl 加載時調用 一次。 vcl_fini 子程序: 卸載當前 vcl 配置時調用,用於清理 VMODs,該子程序不參與請求處理,僅在 vcl 正常丟棄 後調用。
除了一臺varnish服務器,能夠再開倆臺web服務器,提供web頁面就能夠。express
[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel pkgconfig python-docutils python-sphinx [root@localhost ~]# tar zxf varnish-4.0.3.tar.gz [root@localhost ~]# cd varnish-4.0.3/ [root@localhost varnish-4.0.3]# ./configure && make && make install [root@localhost varnish-4.0.3]# cp etc/example.vcl /usr/local/var/varnish/ //複製Varnish主配置文件 [root@localhost /]# vim /usr/local/var/varnish/example.vcl //編輯Varnish主配 看原來的修改 vcl 4.0; import directors; import std; backend default { .host = "127.0.0.1"; .port = "80"; } probe backend_healthcheck { .url="/"; .interval = 5s; .timeout = 1s; .window = 5; .threshold = 3; } backend web1 { .host = "192.168.148.132"; .port = "80"; .probe = backend_healthcheck; } backend web2 { .host = "192.168.148.133"; .port = "80"; .probe = backend_healthcheck; } acl purgers { "127.0.0.1"; "localhost"; "192.168.148.0/24"; !"192.168.148.133"; } sub vcl_init { new web_cluster=directors.round_robin(); web_cluster.add_backend(web1); web_cluster.add_backend(web2); } //把原來的所有刪除添加以下 sub vcl_recv { set req.backend_hint = web_cluster.backend(); if (req.method == "PURGE") { if (!client.ip ~ purgers) { return (synth(405, "Not Allowed.")); } return (purge); } if (req.method != "GET" && req.method != "HEAD" && req.method != "PUT" && req.method != "POST" && req.method != "TRACE" && req.method != "OPTIONS" && req.method != "PATCH" && req.method != "DELETE") { return (pipe); } if (req.method != "GET" && req.method != "HEAD") { return (pass); } if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") { return (pass); } if (req.http.Accept-Encoding) { if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") { unset req.http.Accept-Encoding; } elseif (req.http.Accept-Encoding ~ "gzip") { set req.http.Accept-Encoding = "gzip"; } elseif (req.http.Accept-Encoding ~ "deflate") { set req.http.Accept-Encoding = "deflate"; } else { unset req.http.Accept-Encoding; } } if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") { unset req.http.cookie; return (hash); } if (req.restarts == 0) { if (req.http.X-Forwarded-For) { set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } return (hash); } sub vcl_hash { hash_data(req.url); if (req.http.host) { hash_data(req.http.host); } else { hash_data(server.ip); } return (lookup); } sub vcl_hit { if (req.method == "PURGE") { return (synth(200, "Purged.")); } return (deliver); } sub vcl_miss { if (req.method == "PURGE") { return (synth(404, "Purged.")); } return (fetch); } sub vcl_deliver { if (obj.hits > 0) { set resp.http.CXK = "HIT-from-varnish"; set resp.http.X-Cache-Hits = obj.hits; } else { set resp.http.X-Cache = "MISS"; } unset resp.http.X-Powered-By; unset resp.http.Server; unset resp.http.X-Drupal-Cache; unset resp.http.Via; unset resp.http.Link; unset resp.http.X-Varnish; set resp.http.xx_restarts_count = req.restarts; set resp.http.xx_Age = resp.http.Age; set resp.http.hit_count = obj.hits; unset resp.http.Age; return (deliver); } sub vcl_purge { return (synth(200,"success")); } sub vcl_backend_error { if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504) { return (retry); } } sub vcl_fini { return (ok); } [root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80 //啓動服務
[root@localhost ~]# yum -y install httpd [root@localhost ~]# echo aaa > /var/www/html/index.html [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl start httpd
[root@localhost ~]# yum -y install httpd [root@localhost ~]# echo bbb > /var/www/html/index.html [root@localhost ~]# systemctl stop firewalld [root@localhost ~]# systemctl start httpd
[root@localhost /]# netstat -anpt | grep 80 [root@localhost /]# killall -9 varnishd [root@localhost /]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
刷新一下vim
[root@localhost /]# curl -X "PURGE" 192.168.148.130 //清除緩存
vcl 4.0; import directors; import std; # Default backend definition. Set this to point to your content server. probe backend_healthcheck { .url="/"; #訪問後端服務器根路徑 .interval = 5s; #請求時間間隔 .timeout = 1s; #請求超時時間 .window = 5; #指定輪詢次數5次 .threshold = 3; #若是出現3次失敗則表示後端服務器異常 } backend web1 { #定義後端服務器 .host = "192.168.1.7"; #要轉向主機(即後端主機)的 IP 或域名 .port = "80"; #指定後端服務器的端口號 .probe = backend_healthcheck; #健康檢查調用backend_healthcheck定義的內容 } backend web2 { .host = "192.168.1.8"; .port = "80"; .probe = backend_healthcheck; } acl purgers { #定義訪問控制列表 "127.0.0.1"; "localhost"; "192.168.1.0/24"; !"192.168.1.8"; } sub vcl_init { #調用 vcl_init 初始化子程序建立後端主機組,即 directors new web_cluster=directors.round_robin(); #使用 new 關鍵字建立 drector 對象,使用 round_robin(輪詢) 算法 web_cluster.add_backend(web1); #添加後端服務器節點 web_cluster.add_backend(web2); } sub vcl_recv { set req.backend_hint = web_cluster.backend(); #指定請求的後端節點web_cluster定義的後端節點 if (req.method == "PURGE") { #判斷客戶端的請求頭部是不是PURGE if (!client.ip ~ purgers) { #若是是,再判斷客戶端的IP地址是否是在ACL訪問控制列表中. return (synth(405, "Not Allowed.")); #若是不是,返回給客戶端405狀態碼而且返回定義的頁面. } return (purge); #若是是ACL定義的,則交給purge處理. } if (req.method != "GET" && req.method != "HEAD" && req.method != "PUT" && req.method != "POST" && req.method != "TRACE" && req.method != "OPTIONS" && req.method != "PATCH" && req.method != "DELETE") { #判斷客戶端的請求類型 return (pipe); } if (req.method != "GET" && req.method != "HEAD") { return (pass); #若是不是GET及HEAD則交給pass. } if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") { return (pass); #當客戶端訪問的是.php等結尾的交給pass處理. } if (req.http.Accept-Encoding) { if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") { unset req.http.Accept-Encoding; #取消客戶端接收的壓縮類型 } elseif (req.http.Accept-Encoding ~ "gzip") { set req.http.Accept-Encoding = "gzip"; #若是有gzip類型,標記gzip類型. } elseif (req.http.Accept-Encoding ~ "deflate") { set req.http.Accept-Encoding = "deflate"; } else { unset req.http.Accept-Encoding; #其餘未定義的頁面也取消客戶但接收的壓縮類型. } } if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") { unset req.http.cookie; #取消客戶端的cookie值. return (hash); #將請求轉發給hash子程序,也就是查看本地緩存. } if (req.restarts == 0) { #判斷客戶端是否是第一次請求 if (req.http.X-Forwarded-For) { #若是是第一次請求,設置獲取客戶端的IP地址. set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } return (hash); } sub vcl_hash { hash_data(req.url); #查看客戶端請求的頁面,而且進行hash if (req.http.host) { hash_data(req.http.host); #設置客戶端的主機 } else { hash_data(server.ip); #設置服務器的IP } return (lookup); } sub vcl_hit { if (req.method == "PURGE") { #若是是HIT而且當客戶端請求的類型是PURGE返回的200的狀態碼,並返回相應頁面. return (synth(200, "Purged.")); } return (deliver); } sub vcl_miss { if (req.method == "PURGE") { return (synth(404, "Purged.")); #若是是miss返回404 } return (fetch); } sub vcl_deliver { if (obj.hits > 0) { set resp.http.CXK = "HIT-from-varnish"; #設置http頭部X-Cache =hit set resp.http.X-Cache-Hits = obj.hits; #返回命令的次數 } else { set resp.http.X-Cache = "MISS"; } unset resp.http.X-Powered-By; #取消顯示web版本 unset resp.http.Server; #取消顯示varnish服務 unset resp.http.X-Drupal-Cache; #取消顯示緩存的框架 unset resp.http.Via; #取消顯示文件內容來源 unset resp.http.Link; #取消顯示HTML的超連接地址 unset resp.http.X-Varnish; #取消顯示varnish的id set resp.http.xx_restarts_count = req.restarts; #設置客戶端請求的次數 set resp.http.xx_Age = resp.http.Age; #顯示緩存文件的時長 #set resp.http.hit_count = obj.hits; #顯示緩存命中的次數 #unset resp.http.Age; return (deliver); } sub vcl_pass { return (fetch); #將後端服務器返回的數據緩存到本地 } sub vcl_backend_response { set beresp.grace = 5m; #緩存額外寬限時間 if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) { set beresp.uncacheable = true; #當後端服務器相應狀態碼是449等,不緩存 } if (bereq.url ~ "\.(php|jsp)(\?|$)") { set beresp.uncacheable = true; #當是PHP的頁面不緩存 } else { if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") { set beresp.ttl = 15m; #當是上面結尾的,緩存15分鐘 unset beresp.http.Set-Cookie; } elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") { set beresp.ttl = 30m; #緩存30分鐘 unset beresp.http.Set-Cookie; } else { set beresp.ttl = 10m; #生存時間10分鐘 unset beresp.http.Set-Cookie; } } return (deliver); } sub vcl_purge { return (synth(200,"success")); } sub vcl_backend_error { if (beresp.status == 500 || beresp.status == 501 || beresp.status == 502 || beresp.status == 503 || beresp.status == 504) { return (retry); #若是狀態碼是上述其中之一,則從新請求 } } sub vcl_fini { return (ok); }