Varnish
1、Varnish簡介css
Varnish 的做者Poul-Henning Kamp是FreeBSD的內核開發者之一，他認爲如今的計算機比起1975年已經複雜許多。在1975年時，儲存媒介只有兩種：內存與硬盤。但如今計算機系統的內存除了主存外，還包括了CPU內的L一、L2，甚至有L3快取。硬盤上也有本身的快取裝置，所以Squid Cache自行處理物件替換的架構不可能得知這些狀況而作到最佳化，但操做系統能夠得知這些狀況，因此這部份的工做應該交給操做系統處理，這就是 Varnish cache設計架構。 html
varnish項目是2006年發佈的第一個版本0.9.距今已經八年多了，此文檔以前也提過varnish還不穩定，那是2007年時候編寫的，通過varnish開發團隊和網友們的辛苦耕耘，如今的varnish已經很健壯。不少門戶網站已經部署了varnish，而且反應都很好，甚至反應比squid還穩定，且效率更高，資源佔用更少。相信在反向代理，web加速方面，varnish已經有足夠能力代替squid。前端
2、Web緩存部分首部介紹node
程序可以緩存是由於程序具備局部性，時間局部性和空間局部性。緩存通常存儲爲鍵值，key爲訪問路徑的url通過hash計算後的結果，value爲服務器內容，通常緩存存儲的是熱點數據，切緩存中存儲的數據不會大於後端web服務器的程序數據大小。緩存的對象是有生命週期的，當緩存空間耗盡的時候會根據LRU算法（最近最少使用）或其餘算法對緩存空間進行清理。緩存中通常只能緩存非客戶私有數據，客戶私有數據和帶cookie的數據能夠進行緩存，可是存在風險，因此通常不對客戶私有數據進行緩存。web
緩存處理的步驟：接收請求 --> 解析請求 （提取請求的URL及各類首部）--> 查詢緩存 --> 新鮮度檢測 --> 建立響應報文 --> 發送響應 --> 記錄日誌（此圖不必定準確，只是爲了好理解）正則表達式
新鮮度檢測機制：算法
過時日期：express
HTTP/1.0 Expires（Expires:Thu, 04 Jun 2015 23:38:18 GMT）編程
HTTP/1.1 Cache-Control: max-age（Cache-Control:max-age=600）vim
條件式請求首部：
If-Modified-Since：基於請求內容的時間戳做驗正；
If-None-Match：基於被請求變量的實體值ETag；ETag是一個能夠與Web資源關聯的記號；
有效性再驗正：revalidate
若是原始內容未改變，則僅響應首部（不附帶body部分），響應碼304 （Not Modified）
若是原始內容發生改變，則正常響應，響應碼200；
若是原始內容消失，則響應404，此時緩存中的cache object也應該被刪除；
緩存控制機制(Cache-Control):
請求：
no-cache:不要給我緩存的內容，要從Web服務器現取的內容
max-age：只接受Age值小於max-age的值，而且沒有過時的緩存對象
（Age：當代理服務器用本身緩存的實體去響應請求時，用該頭部代表該實體從產生到如今通過多長時候）
max-statle：能夠接受過時的緩存對象，可是過時時間必須小於此值
min-fresh：接收其新鮮生命期大於當前Age和min-fresh值之和的緩存對象
響應：
public：能夠用Cache內容迴應任何用戶
private：只能緩存內容迴應先前請求該內容的那個用戶
no-cache：能夠緩存，可是隻有在跟Web服務器驗證了其有效後，才能返回客戶端
no-store：不容許緩存
3、Varnish的結構和工做流程
①、Management進程
Management進程主要實現應用新的配置、編譯VCL、監控varnish、初始化varnish以及提供一個命令行接口等。Management進程會每隔幾秒鐘探測一下Child進程以判斷其是否正常運行，若是在指定的時長內未獲得Child進程的迴應，Management將會重啓此Child進程。
②、Child/Cache 進程
Commad line 線程 : 管理接口
Storage/hashing 線程 ：完成hash並進行緩存存儲
Log/stats 線程：查看記錄日誌並統計各類狀態
Accept 線程：接收新的鏈接請求並響應；
Backend Communication 線程：管理後端主機線程，當緩存中沒有緩存須要有此進程交由後端服務器處理
Worker 線程：child進程會爲每一個會話啓動一個worker線程，所以，在高併發的場景中可能會出現數百個worker線程甚至更多；
Object Expiry 線程：從緩存中清理過時內容；
③、Varnish日誌
爲了與系統的其它部分進行交互，Child進程使用了能夠經過文件系統接口進行訪問的共享內存日誌(shared memory log)，所以，若是某線程須要記錄信息，其僅須要持有一個鎖，然後向共享內存中的某內存區域寫入數據，再釋放持有的鎖便可。而爲了減小競爭，每一個worker線程都使用了日誌數據緩存。共享內存日誌大小通常爲90M，其分爲兩部分，前一部分爲計數器，後半部分爲客戶端請求的數據。varnish提供了多個不一樣的工具如varnishlog、varnishncsa或varnishstat等來分析共享內存日誌中的信息並可以以指定的方式進行顯示。
④、VCL（Varnish Configuation Language）簡介
Varnish Configuration Language (VCL)是varnish配置緩存策略的工具，它是一種基於「域」(domain specific)的簡單編程語言，它支持有限的算術運算和邏輯運算操做、容許使用正則表達式進行字符串匹配、容許用戶使用set自定義變量、支持if判斷語句，也有內置的函數和變量等。使用VCL編寫的緩存策略一般保存至.vcl文件中，其須要編譯成二進制的格式後才能由varnish調用。事實上，整個緩存策略就是由幾個特定的子例程如vcl_recv、vcl_fetch等組成，它們分別在不一樣的位置(或時間)執行，若是沒有事先爲某個位置自定義子例程，varnish將會執行默認的定義。
VCL策略在啓用前，會由management進程將其轉換爲C代碼，然後再由gcc編譯器將C代碼編譯成二進制程序。編譯完成後，management負責將其鏈接至varnish實例，即child進程。正是因爲編譯工做在child進程以外完成，它避免了裝載錯誤格式VCL的風險。所以，varnish修改配置的開銷很是小，其能夠同時保有幾份尚在引用的舊版本配置，也可以讓新的配置即刻生效。編譯後的舊版本配置一般在varnish重啓時纔會被丟棄，若是須要手動清理，則可使用varnishadm的vcl.discard命令完成。
⑤、Varnish 的後端存儲
Varnish支持多種不一樣類型的後端存儲，這能夠在varnishd啓動時使用-s選項指定。後端存儲的類型包括：
file：使用特定的文件存儲所有的緩存數據，並經過操做系統的mmap()系統調用將整個緩存文件映射至內存區域(若是條件容許)；
malloc：使用malloc()庫調用在varnish啓動時向操做系統申請指定大小的內存空間以存儲緩存對象；
persistent(experimental)：與file的功能相同，但能夠持久存儲數據(即重啓varnish數據時不會被清除)；仍處於測試期；
Varnish沒法追蹤某緩存對象是否存入了緩存文件，從而也就無從得知磁盤上的緩存文件是否可用，所以，file存儲方法在varnish中止或重啓時會清除數據。而persistent方法的出現對此有了一個彌補，但persistent仍處於測試階段，例如目前尚沒法有效處理要緩存對象整體大小超出緩存空間的狀況，因此，其僅適用於有着巨大緩存空間的場景。
一個Management能夠啓動多個child/cache，每一個child/cache子進程內部生成多個worker threads響應用戶請求。Varnish是單進程多線程模式的，每一個線程處理一個用戶請求，可是不是全部的線程都用於用戶請求，部分線程工做於Backend Communication、Log/stats等
3、Varnish的安裝和配置
這裏使用Centos 7經過epel源安裝Varnish
[root@C7node1 /]# yum install varnish jemalloc.x86_64 0:3.6.0-1.el7 #jemalloc 一個性能很是卓越的內存分配器，因爲C提供的內存分配效率太低，因此這裏使用了更高性能的內存管理器 #用戶malloc內存緩存對象使用 [root@C7node1 /]# rpm -ql varnish /etc/logrotate.d/varnish #日誌回滾 /etc/varnish/default.vcl #varnish的配置文件 /etc/varnish/varnish.params #varnish的參數，用於配置varnish做爲緩存的工做屬性 /usr/lib/systemd/system/varnishlog.service #從共享內存中抽取第二段數據日誌 /usr/lib/systemd/system/varnishncsa.service #從共享內存中抽取第二段數據日誌
配置varnish的三種應用：
①、varnishd應用程序的命令行參數（/etc/varnish/varnish.params）
Varnishd經常使用選項
-p param=value # set parameter。配置參數
-r param[,param...] # make parameter read-only。設定只讀參數列表
-f file # VCL script，讀取VCL配置文件
-a address:port # HTTP listen address and port。指定http地址端口
-d # debug。運行於調試模式
-s [name=]kind[,options] # Backend storage specification。指定存儲類型
# -s malloc[,<size>]
# -s file,<dir_or_file>,<size>,<granularity>
# -s persist{experimental}
-T address:port # Telnet listen address and port。指定管理接口
-S secret-file # Secret file for CLI authentication。指定管理密鑰文件
-t # Default TTL。前端服務器varnish鏈接各後端服務器時超時時間
②、varnishd Child/cahce：實時參數（child的進程數，worker的線程數）
varnishadm
param.set
③、vcl：配置緩存系統的緩存機制；
經過vcl配置文件進行配置；先編譯，後應用；依賴於c編譯器；
4、Varnish工具的使用
①、varnishadm
[root@C7node1 varnish]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082 help [<command>] #查詢幫助 ping [<timestamp>] #測試ping通訊 auth <response> quit #退出varnishadm status #查看Child的狀態 start #開啓Child stop #中止Child vcl.load <configname> <filename> #編譯加載指定vcl vcl.inline <configname> <quoted_VCLstring> vcl.use <configname> #使用指定vcl vcl.discard <configname> #刪除指定vcl vcl.list #列出全部vcl vcl.show <configname> #查看編譯好的vcl的配置文件 param.show [-l] [<param>] #查看運行參數 param.set <param> <value> #設置運行參數 panic.show #查看Child恐慌掛掉的信息 panic.clear #清除信息 storage.list #查看使用的storage列表 backend.list [<backend_expression>] #查看backed後端服務器 backend.set_health <backend_expression> <state> #調整backed狀態 ban <field> <operator> <arg> [&& <field> <oper> <arg>]... #清理緩存中的緩存對象 ban.list #列出定義的ban規則
②、varnishlog
③、varnishncsa
④、varnishtop
⑤、varnishstat
4、VCL配置文件及其相關參數
①、VCL的狀態引擎
state engine：各引擎之間存必定程度上的相關性；前一個engine若是能夠有多種下游engine，則上游engine須要用return指明要轉移的下游engine；
vcl_recv：接收客戶請求
vcl_hash:當域名作泛解析的時候，對同一類的url作規範化
vcl_hit：命中緩存
vcl_miss：沒有命中緩存
vcl_fetch：去後端服務器請求數據
vcl_deliver：投遞給客戶端
vcl_pipe：
vcl_pass：
vcl_error：
vcl_backend_fetch（V4新添加的）
vcl_backend_response（V4新添加的）
vcl_backend_error（V4新添加的）
vcl_purge（V4新添加的）
vcl_synth（V4新添加的）
②、VCL語法
//、#或/* comment */ 用於註釋；會被編譯器忽略
sub $name 定義函數 ，sub vcl_recv { }
不支持循環，有衆多內置變量 ，變量的可調用位置與state engine有密切相關性
使用終止語句，return(action)，沒有返回值
域專用
操做符：=(賦值)、==(等值比較)、~(模式匹配)、!(取反)、&&(邏輯與)、||(邏輯或)
條件判斷語句：if(comment){ }else{ }
變量賦值和撤銷變量：set name=value，unset name
③、varnish中的內置變量：
client
client.ip：客戶端IP地址
server
server.ip：varnish ip地址
server.hostname：varnish主機名
req
req.http.HEADERS：客戶端發往varnish的請求報文的指定首部
req.method：請求方法
req.proto：請求協議版本
req.ttl：請求ttl
req.url：請求url
resp
resp.http.HEADERS:varnish發往客戶端的響應報文的指定首部
resp.proto：響應協議版本
resp.reason：響應的緣由短語
resp.status：響應的狀態碼
bereq
bereq.http.HEADERS: 由varnish發往backend server的請求報文的指定首部；
bereq.request：請求方法；
bereq.url：請求的url
bereq.proto：請求的協議版本
bereq.backend：指明要調用的後端主機；
beresp
beresp.proto：又backend server響應的協議版本
beresp.status：後端服務器的響應的狀態碼
beresp.reason：緣由短語；
beresp.backend.ip：後端服務器的IP地址
beresp.backend.name：後端服務器的主機名
beresp.http.HEADER: 從backend server響應的報文的首部；
beresp.ttl：後端服務器響應的內容的餘下的生存時長；
obj
obj.ttl: 對象的ttl值；
obj.hits：此對象從緩存中命中的次數；
storage
官方文檔：https://www.varnish-cache.org/docs/4.0/reference/vcl.html#varnish-configuration-language
④、varnish中的內置方法：
return()：終止vcl引擎
hash_data(input)：進行hash計算並放回對應的hash值
regsub(str, regex, sub)：正則表達式查找替換，之查找替換一次
regsuball(str, regex, sub)：正則表達式查找替換，替換全部
ban(expression)：緩存對象清理
4、實驗總結
c7node1.wlw.com 192.168.0.56 Varnish服務器
C6node1.wlw.com 192.168.0.66 backend server
C6node2.wlw.com 192.168.0.76 backend server
定義在vcl_deliver中，向響應給客戶端的報文添加一個自定義首部X-Cache
[root@C7node1 varnish]# vim /etc/varnish/wlw.vcl
sub vcl_recv {
if (req.method == "PRI") {
/* We do not support SPDY or HTTP/2.0 */
return (synth(405));
}
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "DELETE") {
/* Non-RFC2616 or CONNECT which is weird. */
return (pipe);
}
if (req.method != "GET" && req.method != "HEAD") {
/* We only deal with GET and HEAD by default */
return (pass);
}
if (req.http.Authorization || req.http.Cookie) {
/* Not cacheable by default */
return (pass);
}
return (hash);
}
sub vcl_deliver {
if(obj.hits > 0) {
set resp.http.X-Cache = "HIT";
}else{
set resp.http.X-Cache = "Miss";
}
}
[root@C7node1 varnish]# varnishadm
vcl.load wlw wlw.vcl
200
VCL compiled.
vcl.list
200
active 0 boot
available 0 wlw
vcl.use wlw
200
VCL 'wlw' now active
[root@wlw ~]# curl -I http://192.168.0.56
X-Cache: Miss
[root@wlw ~]# curl -I http://192.168.0.56
X-Cache: HIT
讓Varnish支持虛擬主機
sub vcl_recv {
if (req.http.host == "www.wlw.com") {
return (pipe);
}
}
sub vcl_pipe{
set bereq.http.host = "www.wlw.com";
}
強制對某資源的請求，不檢查緩存
sub vcl_recv {
if (req.url ~ "^/test1.html$") {
return(pass);
}
}
[root@C6node1 dz]# curl -I http://192.168.0.56/test1.html
HTTP/1.1 200 OK
X-Cache: Miss
[root@C6node1 dz]# curl -I http://192.168.0.56/test1.html
HTTP/1.1 200 OK
X-Cache: Miss
#能夠看到屢次請求都沒有命中緩存
sub vcl_recv {
if (req.url ~ "(?i)^/login" || req.url ~ "(?i)^/admin") {
return(pass);
}
}
#對/login或者/admin的目錄都不查詢緩存，(?i) 表示對正則匹配不區分大小寫
對特定類型的資源（公共可用）取消其私有的cookie標識，並強行設定其能夠varnish緩存的時長
sub vcl_backend_response {
if (beresp.http.cache-control !~ "s-maxage") {
if (bereq.url ~ "(?i)\.jpg$") {
set beresp.ttl = 3600s;
unset beresp.http.Set-Cookie;
}
if (bereq.url ~ "(?i)\.css$") {
set beresp.ttl = 600s;
unset beresp.http.Set-Cookie;
}
}
}
#veresp.ttl爲設置在varnish上的緩存時長
定義backend server和後端主機的健康狀態檢測,並實現資源分別分配
backend websrv1 {
.host = "192.168.0.66";
.port = "80";
.probe = {
.url = "/test5.html";
}
}
backend websrv2 {
.host = "192.168.0.76";
.port = "80";
.probe = {
.url = "/test5.html";
}
}
sub vcl_recv {
if (req.url ~ "(?i)\.(jpg|png|gif)$") {
set req.backend_hint = websrv1;
} else {
set req.backend_hint = websrv2;
}
}
#定義兩臺後端主機
測試查看結果
backend.list Backend name Refs Admin Probe websrv1(192.168.0.66,,80) 1 probe Healthy 8/8 websrv2(192.168.0.76,,80) 1 probe Sick 0/8 backend.list 200 Backend name Refs Admin Probe websrv1(192.168.0.66,,80) 1 probe Healthy 8/8 websrv2(192.168.0.76,,80) 1 probe Healthy 6/8 #這裏由於192.168.0.76忘記關閉防火牆致使請求test5.html檢測失敗，關閉防火牆後檢測經過並恢復
backend server的定義：
backend name {
.attribute = "value";
}
.host: BE主機的IP；
.port：BE主機監聽的PORT；
.probe: 對BE作健康狀態檢測；
.max_connections：並鏈接最大數量；
後端主機的健康狀態檢測方式：
probe name {
.attribute = "value";
}
.url: 斷定BE健康與否要請求的url;
.request:手動定義請求報文的內容
.expected_response：指望響應狀態碼；默認爲200；
.timeout：健康狀態檢測的超時時間，默認2s
.interval：每隔多長時間檢測一次，默認5s
.window:最近檢測的窗口，默認爲8
.threshold：默認爲3，只要在window定義的次數中有threshold次經過即爲正常
.initial:當Varnish主機剛啓動的時候檢測後端主機多少次成功即爲正常，默認爲1
基於Varnish的負載均衡
backend websrv1 {
.host = "192.168.0.66";
.port = "80";
.probe = {
.url = "/test5.html";
}
}
backend websrv2 {
.host = "192.168.0.76";
.port = "80";
.probe = {
.url = "/test5.html";
}
}
import directors;
sub vcl_init {
new mycluster = directors.round_robin();
mycluster.add_backend(websrv1);
mycluster.add_backend(websrv2);
}
sub vcl_recv {
if (req.url ~ "(?i)\.(jpg|png|gif)$") {
set req.backend_hint = websrv1;
} else {
set req.backend_hint = websrv2;
}
set req.backend_hint = mycluster.backend();
}
[root@C6node1 dz]# curl http://192.168.0.56/test1.html
Page 1 Web2
[root@C6node1 dz]# curl http://192.168.0.56/test2.html
Page 2 Web1
[root@C6node1 dz]# curl http://192.168.0.56/test3.html
Page 3 Web2
[root@C6node1 dz]# curl http://192.168.0.56/test4.html
Page 4 Web1
#基於資源的負載均衡，負載均衡算法：fallback, random, round_robin, hash
- 1. Varnish+Nginx 配置----Varnish
- 2. varnish
- 3. Varnish
- 4. Day01 varnish
- 5. Linux Varnish
- 6. Varnish安裝
- 7. Varnish部署
- 8. Linux下的Varnish
- 9. Varnish 基礎
- 10. varnish介紹
- 更多相關文章...
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. 「插件」Runner更新Pro版，幫助設計師遠離996
- 2. 錯誤 707 Could not load file or assembly ‘Newtonsoft.Json, Version=12.0.0.0, Culture=neutral, PublicKe
- 3. Jenkins 2018 報告速覽，Kubernetes使用率躍升235%！
- 4. TVI-Android技術篇之註解Annotation
- 5. android studio啓動項目
- 6. Android的ADIL
- 7. Android卡頓的檢測及優化方法彙總（線下+線上）
- 8. 登錄註冊的業務邏輯流程梳理
- 9. NDK(1)創建自己的C/C++文件
- 10. 小菜的系統框架界面設計-你的評估是我的決策
- 1. Varnish+Nginx 配置----Varnish
- 2. varnish
- 3. Varnish
- 4. Day01 varnish
- 5. Linux Varnish
- 6. Varnish安裝
- 7. Varnish部署
- 8. Linux下的Varnish
- 9. Varnish 基礎
- 10. varnish介紹