varnish簡單入門

在nginx裏咱們引入了緩存功能，把對某些請求的結果緩存下來，下次請求直接使用數據響應，這樣極大的節省了系統獲取源數據資源的時間，若咱們把大量的請求結果都使用緩存服務器來響應，那麼咱們能夠大大減小計算機數量減小成本。既然要使用緩存那麼就會引來問題，緩存的數據什麼時間失效，萬一多臺緩存服務器損壞一臺後，緩存結果怎麼處理。

# 目錄

varnish控制

緩存運做方式

緩存項控制

日誌

實踐

# varnish控制

緩存服務器的類型經常使用的有memched、squid、varnish，這裏咱們使用varnish，由於它的功能更加多樣更加便捷，正在取代squid；squid是傳統運行比較穩健的緩存服務器，memched比較老舊。

varnish的架構圖


varnish主要包含三個部分

management提供管理接口，並控制緩存進程的特性

child/cache提供緩存功能，記錄日誌，訪問控制，後端服務器管理

vcl給child/cache提供配置文件的編譯

varnish程序結構

/etc/varnish/varnish.params： 配置varnish服務進程的工做特性，例如監聽的地址和端口，緩存機制；

/etc/varnish/default.vcl：配置各Child/Cache線程的緩存工做屬性；

主程序：

/usr/sbin/varnishd

CLI interface：

/usr/bin/varnishadm

Shared Memory Log交互工具：

/usr/bin/varnishhist

/usr/bin/varnishlog

/usr/bin/varnishncsa

/usr/bin/varnishstat

/usr/bin/varnishtop

測試工具程序：

/usr/bin/varnishtest

VCL配置文件重載程序：

/usr/sbin/varnish_reload_vcl

Systemd Unit File：

/usr/lib/systemd/system/varnish.service

varnish服務

/usr/lib/systemd/system/varnishlog.service

/usr/lib/systemd/system/varnishncsa.service

日誌持久的服務；

# 緩存運做方式

緩存的數據存儲方式：key/value的方式存儲，還記得nginx存儲時，是把key保存在內存中，把value的數據存儲在磁盤上，這裏就有問題了，一樣是在磁盤裏存儲數據，爲何使用key/value存儲方式數據是能夠提升獲取速度的提升，由於文件系統讀取數據須要遍歷存儲樹，而咱們緩存的時候使用的是一個層級結構，數據的位置能夠預測。這裏涉及到咱們緩存使用的算法，咱們把請求報文進行進行hash運算後按照hash結果的後兩位的數據的數值建立文件夾，每一個對應每一個對應位都放在相應的文件夾，而後再把後3和4位數據建立文件夾。

vanish的緩存數據的方式有三種

vanish -s [name=]type[,options]

type的三種類型

· malloc[,size]

內存存儲，[,size]用於定義空間大小；重啓後全部緩存項失效；

· file[,path[,size[,granularity]]]

文件存儲，黑盒；重啓後全部緩存項失效；

· persistent,path,size

文件存儲，黑盒；重啓後全部緩存項有效；實驗；

varnish程序的選項：

程序選項：/etc/varnish/varnish.params文件

-a address[:port][,address[:port][...]，默認爲6081端口； 

-T address[:port]，默認爲6082端口；

-s [name=]type[,options]，定義緩存存儲機制；

-u user

-g group

-f config：VCL配置文件；

-F：運行於前臺；

...

運行時參數：/etc/varnish/varnish.params文件， DEAMON_OPTS

DAEMON_OPTS="-p thread_pool_min=5 -p thread_pool_max=500 -p thread_pool_timeout=300"

-p param=value：設定運行參數及其值； 可重複使用屢次；

-r param[,param...]: 設定指定的參數爲只讀狀態；

在使用內存緩存數據時，咱們須要考慮內存回收和內存空間碎片化，咱們的使用方法是把內存提早分片，而後使用。varnish使用內存是使用c語言的malloc，jemalloc-3.6.0-1.el7.x86_64提供這個功能

線程相關的參數，在線程池內部，其每個請求由一個線程來處理； 其worker線程的最大數決定了varnish的併發響應能力；

thread_pools #child數量，最好小於或等於CPU核心數量； 

thread_pool_max #每一個進程最多能夠開啓的線程數

thread_pool_min #額外意義爲「最大空閒線程數」；

最大併發鏈接數=thread_pools  * thread_pool_max

thread_pool_timeout：Thread idle threshold.  Threads in excess of thread_pool_min, which have been idle for at least this long, will be destroyed.

thread_pool_add_delay：Wait at least this long after creating a thread.

thread_pool_destroy_delay：Wait this long after destroying a thread.

設置方式：

vcl.param 

永久有效的方法：

vim /etc/varnish/varnish.params

DEAMON_OPTS="-p PARAM1=VALUE -p PARAM2=VALUE"

# 緩存項控制

以上是控制child程序運行的基本屬性，真正實現緩存功能的定義來至於vcl定義的屬性，vcl才varnish真正的配置文件，vcl的配置文件是/etc/default.vcl這個配置文件的屬性以下

vcl的語法格式：

(1) VCL配置文件須要以vcl 4.0這個配置開始;

(2) //, # 和 /* foo */做註釋;

(3) 能夠定義函數而後調用; 例如sub vcl_recv { ...}；

(4) No loops, state-limited variables（受限於引擎的內建變量）；

(5) Terminating statements with a keyword for next action as argument of the return() function, i.e.: return(action)；用於實現狀態引擎轉換； 

(6) Domain-specific;

The VCL Finite State Machine

(1) Each request is processed separately;

(2) Each request is independent from others at any given time;

(3) States are related, but isolated;

(4) return(action); exits one state and instructs Varnish to proceed to the next state;

(5) Built-in VCL code is always present and appended below your own VCL;

### 結構

介紹配置以前咱們須要瞭解varnish的child的運行是調用個狀態引擎的順序，VCL有多個狀態引擎，狀態之間存在相關性，但狀態引擎彼此間互相隔離；每一個狀態引擎可以使用return(x)指明關聯至哪一個下一級引擎；每一個狀態引擎對應於vcl文件中的一個配置段，即爲subroutine，各引擎調用關係以下

### 引擎

咱們調用引擎使用return命令就能夠了，這些引擎能夠分爲兩類，一種是面對客戶端的，一種是面對後端服務器的

客戶端的

vcl_rev #內能夠調用這些引擎，在這個引擎內咱們能夠定義對哪些請求進行使用緩存不使用緩存

hash：vcl_hash #查緩存

pass: vcl_pass

pipe: vcl_pipe

synth: vcl_synth

purge: vcl_hash --> vcl_purge

vcl_deliver #使用緩存響應

vcl_hit

vcl_miss

vcl_pass #不使用緩存

vcl_synth

vcl_purge #對已經緩存的數據進行修剪，從新緩存

vcl_pipe

後端服務器的

vcl_backend_fetch

vcl_backend_response

vcl_backend_error

### 變量

內建變量

req.*：request，表示由客戶端發來的請求報文相關；

req.http.*

req.http.User-Agent, req.http.Referer, ...

bereq.*：由varnish發往BE主機的httpd請求相關；

bereq.http.*

beresp.*：由BE主機響應給varnish的響應報文相關；

beresp.http.*

resp.*：由varnish響應給client相關；

obj.*：存儲在緩存空間中的緩存對象的屬性；只讀；

經常使用變量：

bereq.*, req.*：

bereq.http.HEADERS

bereq.request：請求方法；

bereq.url：請求的url；

bereq.proto：請求的協議版本；

bereq.backend：指明要調用的後端主機；

req.http.Cookie：客戶端的請求報文中Cookie首部的值； 

req.http.User-Agent ~ "chrome"

beresp.*, resp.*：

beresp.http.HEADERS

beresp.status：響應的狀態碼；

reresp.proto：協議版本；

beresp.backend.name：BE主機的主機名；

beresp.ttl：BE主機響應的內容的餘下的可緩存時長；

obj.*

obj.hits：此對象從緩存中命中的次數；

obj.ttl：對象的ttl值

server.*

server.ip

server.hostname

client.*

client.ip

用戶自定義：

set

unset

# 日誌

一、varnishstat - Varnish Cache statistics

-1

-1 -f FILED_NAME 

-l：可用於-f選項指定的字段名稱列表；

MAIN.cache_hit 

MAIN.cache_miss

# varnishstat -1 -f MAIN.cache_hit -f MAIN.cache_miss

二、varnishtop - Varnish log entry ranking

-1     Instead of a continously updated display, print the statistics once and exit.

-i taglist，能夠同時使用多個-i選項，也能夠一個選項跟上多個標籤；

-I <[taglist:]regex>

-x taglist：排除列表

-X  <[taglist:]regex>

三、varnishlog - Display Varnish logs

四、 varnishncsa - Display Varnish logs in Apache / NCSA combined log format

# 實踐

這裏我作的實驗是，varnish有兩個後端主機，網頁使用緩存，可是login目錄下的內容不使用緩存，這裏咱們把後端主機的/login下頁面定義不同，這樣咱們能夠看到不使用緩存的效果，同時varnish主機本身能夠刷新緩存數據。

### varnish的配置

varnish在epel源中，版本是4.0.4

yum install varnish

vim /etc/varnish/varnish.params #只更改以下一行 

VARNISH_LISTEN_PORT=80

vim /etc/varnish/default.vcl 

vcl 4.0;

import directors;

backend default {

   .host = "127.0.0.1";

   .port = "8080";

}

probe check {

   .url = "/index.html";

   .window = 5;

   .threshold = 3;

   .interval = 2s; 

   .timeout = 1s; 

}

backend server1 {

   .host = "172.16.29.10";

   .port = "80";

   .probe = check;

}

backend server2 {

   .host = "172.16.29.20";

   .port = "80";

   .probe = check;

}

sub vcl_init {

   new static = directors.round_robin();

   static.add_backend(server1);

   static.add_backend(server2);

}

sub vcl_recv {

   set req.backend_hint = static.backend();

   if (req.url ~ "(?i)^/login") {

       return(pass);

   }

acl purgers {

"127.0.0.0"/8;

}

sub vcl_recv {

if (req.method == "PURGE") {

if (!client.ip ~ purgers) {

return(synth(405,"Purging not allowed for " + client.ip));

}

return(purge);

}

}

sub vcl_purge {

return (synth(200,"Purged"));

}

sub vcl_backend_response {

}

sub vcl_deliver {

}

* 注意：default.vcl的配置文件使用的類c語言的編程方式，那麼就會有一個問題，被調用的函數須要在調用前定義，全部定義引擎的時候須要注意順序

### server1的配置

yum install httpd

echo 1 > /var/www/html/index.html

mkdir /var/www/html/login/

echo login1 > /var/www/html/login/index.html

### server2的配置

yum install httpd

echo 2 > /var/www/html/index.html

mkdir /var/www/html/login/

echo login2 > /var/www/html/login/index.html

### 使用zabbix監控varnish的模板

下載路徑以下https://raw.githubusercontent.com/rdvn/zabbix-templates/master/varnish

* 注意：下載的時候要在raw把內容複製到一個文件裏，而後導入使用，右鍵另存爲的不是源碼不可使用。

zabbix的使用能夠參考http://oldking.blog.51cto.com/10402759/1889514

# 總結

在這個緩存爲王的時代，熟練使用varnish很重要。