Varnish4.0緩存代理配置

varnish緩存是web應用加速器，同時也做爲http反向緩存代理。能夠安裝varnish在任何http的前端，同時配置它緩存內容。與傳統的squid相比，varnish具備性能更高、速度更快、管理更加方便等諸多優勢。

Varnish與Squid 的對比

相同點： 同是反向代理服務器、開源

 Varnish的優點：

一、Varnish的穩定性很高，Squid 服務器發生故障的概率要高於Varnish，由於使用 Squid 要常常重啓
二、Varnish訪問速度更快，緩存數據都直接從內存讀取，而Squid是從硬盤讀取，因此Varnish要快於Squid
三、Varnish能夠支持更多的併發鏈接，由於Varnish的 TCP鏈接釋放要比Squid快，於是在高併發鏈接狀況下能夠支持更多TCP鏈接
四、Varnish能夠經過管理端口，使用正則表達式批量的清除部分緩存，而Squid是作不到的；Squid屬因而單進程使用單核CPU，但Varnish是經過fork形式打開多進程來作處理，因此能夠合理的使用全部核來處理相應的請求

Varnish 的缺點：

一、varnish進程一旦Crash或者重啓，全部緩存數據都會丟失，在高併發下，給後端服務器形成很大壓力
二、在 varnish 使用中若是單個url的請求經過 HA/F5 等負載均衡，則每次請求落在不一樣的varnish服務器中，形成請求都會被穿透到後端；並且一樣的請求在多臺服務器上緩存，也會形成varnish的緩存的資源浪費，形成性能降低

Varnish 劣勢的解決方案： 

缺點1：在訪問量很大的狀況下推薦使用 varnish 的內存緩存方式啓動，並且後面須要 跟多臺 squid/nginx 服務器。主要爲了防止前面的varnish服 務、服務器被重啓的狀況下， 大量請求穿透varnish，這樣squid/nginx能夠就擔當第二層CACHE，並且也彌補了varnish緩存在內存中重啓都會釋放的問題
缺點2：能夠在負載均衡上作url哈希，讓單個url請求固定請求到一臺varnish服務器上

Varnish 中內置子程序

vcl_recv子程序：
開始處理請求，經過return(動做);選擇varnish處理模式，默認進入hash緩存模式（即return(hash);），緩存時間爲配置項default_ttl（默認爲120秒）過時保持時間default_grace（默認爲10秒）。該子程序通常用於模式選擇，請求對象緩存及信息修改，後端節點修改，終止請求等操做。

vcl_pipe子程序：
pipe模式處理，該模式主要用於直接取後端響應內容返回客戶端，可定義響應內容返回客戶端。該子程序通常用於須要及時且不做處理的後端信息，取出後端響應內容後直接交付到客戶端不進入vcl_deliver子程序處理。

vcl_pass子程序：
pass模式處理，該模式相似hash緩存模式，僅不作緩存處理。

vcl_hit子程序：
hash緩存模式時，存在hash緩存時調用，用於緩存處理，可放棄或修改緩存。

vcl_miss子程序：
hash緩存模式時，不存在hash緩存時調用，用於判斷性的選擇進入後端取響應內容，能夠修改成pass模式。

vcl_hash子程序：
hash緩存模式，生成hash值做爲緩存查找鍵名提取緩存內容，主要用於緩存hash鍵值處理，可以使用hash_data(string) 指定鍵值組成結構，可在同一個頁面經過IP或cookie生成不一樣的緩存鍵值。

vcl_purge子程序：
清理模式，當查找到對應的緩存時清除並調用，用於請求方法清除緩存，並報告。

vcl_deliver子程序：
客戶端交付子程序，在vcl_backend_response子程序後調用（非pipe模式），或vcl_hit子程序後調用，可用於追加響應頭信息、cookie等內容。

vcl_backend_fetch子程序：
發送後端請求以前調用，可用於改變請求地址或其它信息，或放棄請求。

vcl_backend_response子程序：
後端響應後調用，可用於修改緩存時間及緩存相關信息。

vcl_backend_error子程序：
後端處理失敗調用，異常頁面展現效果處理，可自定義錯誤響應內容，或修改beresp.status與beresp.http.Location重定向等。

vcl_synth 子程序：
自定義響應內容。能夠經過 synthetic（）和返回值synth調用，這裏能夠自定義異常顯示內容，也能夠修改resp.status與resp.http.Location重定向。

vcl_init 子程序：
加載vcl時最早調用，用於初始化VMODs，該子程序不參與請求處理，僅在vcl加載時調用一次。

vcl_fini 子程序：
卸載當前vcl配置時調用，用於清理VMODs，該子程序不參與請求處理，僅在vcl正常丟棄後調用。

附上一張原理圖（摘自網絡）

varnish應用案例：

環境

web01(httpd)：192.168.154.137
web02(httpd)：192.168.154.138
varnish：192.168.154.139

步驟

web01&web02

yum -y install httpd
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload
setenforce 0

安裝varnish

下載地址：http://varnish-cache.org/releases/index.html
我使用的是varnish-4.0.3.tar.gz這個包

tar zxf varnish-4.0.3.tar.gz
cd varnish-4.0.3/
./configure && make && make install

/usr/local/var/varnish/default.vcl文件的配置以下

#加載後端負載均衡模塊
import directors;
#加載 std 模塊
import std;
#建立名爲 backend_healthcheck 的健康檢查策略
probe backend_healthcheck {
	.url="/";
	.interval = 5s;
	.timeout = 1s;
	.window = 5;
	.threshold = 3;
}
#定義後端服務器
backend web_app_01 {
	.host = "192.168.154.137";                     #這裏改爲你的web服務器地址
	.port = "80";
	.first_byte_timeout = 9s;
	.connect_timeout = 3s;
	.between_bytes_timeout = 1s;
	.probe = backend_healthcheck;
}
backend web_app_02 {
	.host = "192.168.154.138";                     #這裏改爲你的web服務器地址
	.port = "80";
	.first_byte_timeout = 9s;
	.connect_timeout = 3s;
	.between_bytes_timeout = 1s;
	.probe = backend_healthcheck;
} 
#定義容許清理緩存的 IP
acl purgers {
	"127.0.0.1";
	"localhost";
	"192.168.154.0/24";
}
#vcl_init 初始化子程序建立後端主機組
sub vcl_init {
	new web = directors.round_robin();
	web.add_backend(web_app_01);
	web.add_backend(web_app_02);
}
#請求入口， 用於接收和處理請求。 這裏通常用做路由處理， 判斷是否讀取緩存和指定該請求使用哪一個後端
sub vcl_recv {
	#將請求指定使用 web 後端集羣 .在集羣名後加上 .backend()
	set req.backend_hint = web.backend();
	# 匹配清理緩存的請求
	if (req.method == "PURGE") {
	if (!client.ip ~ purgers) {
	return (synth(405, "Not Allowed."));
	}
	# 是的話就執行清理
	return (purge);
	}
	# 若是不是正常請求 就直接穿透沒商量
	if (req.method != "GET" &&req.method != "HEAD" &&
	req.method != "PUT" &&
	req.method != "POST" &&
	req.method != "TRACE" &&
	req.method != "OPTIONS" &&
	req.method != "PATCH" &&
	req.method != "DELETE") {
	return (pipe);
	}
	# 若是不是 GET 和 HEAD 就跳到 pass
	if (req.method != "GET" && req.method != "HEAD") {
	return (pass);
	} 
	#若是匹配動態內容訪問請求就跳到 pass
	if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
	return (pass);
	} 
	#具備身份驗證的請求跳到 pass
	if (req.http.Authorization) {
	return (pass);
	}
	if (req.http.Accept-Encoding) {
	if (req.url ~
	"\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
	unset req.http.Accept-Encoding;
	} elseif (req.http.Accept-Encoding ~ "gzip") {
	set req.http.Accept-Encoding = "gzip";
	} elseif (req.http.Accept-Encoding ~ "deflate") {
	set req.http.Accept-Encoding = "deflate";
	} else {
	unset req.http.Accept-Encoding;
	}
	}
	if (req.url ~
	"\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
	unset req.http.cookie;
	return (hash);
	}
	# 把真實客戶端 IP 傳遞給後端服務器 後端服務器日誌使用 X-Forwarded-For 來接收
	if (req.restarts == 0) {
	if (req.http.X-Forwarded-For) {set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
	} else {
	set req.http.X-Forwarded-For = client.ip;
	}
	}
	return (hash);
}
# hash 事件(緩存事件)
sub vcl_hash {
	hash_data(req.url);
	if (req.http.host) {
	hash_data(req.http.host);
	} else {
	hash_data(server.ip);
	}
	return (lookup);
}
# 緩存命中事件
	sub vcl_hit {
	if (req.method == "PURGE") {
	return (synth(200, "Purged."));
	}
	return (deliver);
}
# 緩存不命中事件
	sub vcl_miss {
	if (req.method == "PURGE") {
	return (synth(404, "Purged."));
	}
	return (fetch);
}
# 返回給用戶的前一個事件 一般用於添加或刪除 header 頭
sub vcl_deliver {
	if (obj.hits > 0) {
	set resp.http.X-Cache = "HIT";
	set resp.http.X-Cache-Hits = obj.hits;
	} else {
	set resp.http.X-Cache = "MISS";
} 
#取消顯示 php 框架版本的 header 頭
unset resp.http.X-Powered-By;
#取消顯示 web 軟件版本、 Via(來自 varnish)等 header 頭 爲了安全
unset resp.http.Server;
unset resp.http.X-Drupal-Cache;unset resp.http.Via;
unset resp.http.Link;
unset resp.http.X-Varnish;
#顯示請求經歷 restarts 事件的次數
set resp.http.xx_restarts_count = req.restarts;
#顯示該資源緩存的時間單位秒
set resp.http.xx_Age = resp.http.Age;
#顯示該資源命中的次數
set resp.http.hit_count = obj.hits;
#取消顯示 Age 爲了避免和 CDN 衝突
unset resp.http.Age;
#返回給用戶
return (deliver);
}
# pass 事件
sub vcl_pass {
return (fetch);
} 
#處理對後端返回結果的事件(設置緩存、移除 cookie 信息、設置 header 頭等) 在 fetch 事件後自動調用
sub vcl_backend_response {
#開啓 grace 模式 表示當後端全掛掉後 即便緩存資源已過時(超過緩存時間) 也會把該資源返回給用戶 資源最大有效時間爲 5 分鐘
set beresp.grace = 5m;
#後端返回以下錯誤狀態碼 則不緩存
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true;
} 
#如請求 php 或 jsp 則不緩存
if (bereq.url ~ "\.(php|jsp)(\?|$)") {
set beresp.uncacheable = true;
} else { //自定義緩存文件的緩存時長，即 TTL 值
if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
set beresp.ttl = 15m;
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
set beresp.ttl = 30m;
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m;
unset beresp.http.Set-Cookie;
}
}
#返回給用戶return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry);
}
}
sub vcl_fini {
return (ok);
}

啓動varnish

/usr/local/sbin/varnishd -f /usr/local/var/varnish/default.vcl -s malloc,100M -a 0.0.0.0:80
firewall-cmd --add-port=80/tcp --permanent
firewall-cmd --reload
setenforce 0

使用/usr/local/sbin/varnishd -h能夠查看啓動命令的幫助

而後經過ss或者netstat查看是否正常啓動

##varnish官網：http://varnish-cache.org/

##varnish官方文檔：http://varnish-cache.org/docs/index.html