WEB緩存控制機制與varnish簡介

　　在說到緩存varnish前，咱們首先來了解下對於web服務緩存究竟是什麼？它有哪些特色，基礎原理是什麼？

　　http是web應用協議，一般咱們說的一次http事務，不外乎就是客戶端請求，服務端響應，一般咱們是這樣去理解http一次事務的過程；其實對於web服務器來講，一個客戶端訪問服務端的某資源時，每每客戶端的請求沒有到達真正提供web服務的服務器上，就被響應了，這是爲何呢？咱們知道一個WEB站點在提供對外訪問的頁面上在必定時間內都不會發生變化，而對於這些不常常變化的資源，訪問又特別大的狀況，若是全部客戶端的請求都到真正提供WEB服務的服務器上請求資源，能夠想象，對於提供web服務的服務器所在網絡是須要一個巨大帶寬纔可以足以支撐併發不少用戶去訪問；因此咱們的站點不該該也不可以讓全部的客戶端直接訪問後端真正的web服務器；在現實生活中咱們訪問某度的網站，感受很快的樣子，其實這背後就是緩存的做用；那什麼是緩存呢？所謂緩存，對於http協議來講，就是把那些常常被訪問到的熱區資源，經過某種機制把它存放在離客戶端最近的地方，客戶端訪問該資源時，直接從緩存中響應便可，這樣的機制就是緩存；簡單講緩存就是把熱區資源放到離客戶端最近的地方，方便客戶端訪問時，直接從緩存的資源響應給客戶端，這樣一來就解決了，後端真正提供web服務的服務器所在網絡帶寬的問題，同時也加速了客戶端的訪問請求；對於http協議來講，程序的運行具備時間局部性和空間局部性特徵，所謂時間局部性特徵就是一個數據被訪問過以後，可能很快會被第二次訪問到；空間局部性指的是一個數據被訪問時，其周邊的數據也有可能別訪問到；若是咱們把這些很受歡迎的資源（可能被屢次訪問到的資源）和其周圍的一些資源存起來，放到離客戶端最近的地方，這樣一來，大多數的客戶端訪問咱們的站點就會被緩存響應，可以真正到達後端真正提供web服務的服務器上的客戶端請求就大大減小；這就是緩存的做用，它一方面是減小後端服務器的壓力，同時加速了客戶端的訪問；一般狀況下緩存是有生命週期的，什麼意思呢？就是說緩存不是說一直存放在哪裏不變的，它是有時效性的，若是一個緩存項過時了，那麼該緩存就會被識別爲失效的緩存項，對於失效的緩存一般會有一個緩存管理機制處理該緩存項，最多見的處理方式就是把失效的緩存項直接清理出去，除此以外在http1.1協議中，對於這種失效的緩存來說，一般客戶端請求該資源時，一看緩存時間過時了，那麼此時緩存服務器會向後端或上游服務器發送一個條件式請求問下真正的服務器，說「我這裏的緩存失效了，請問你那裏的資源的時間戳改變了嗎？若是沒有改變我就用我這裏的緩存響應給客戶端咯」，若是後端服務器用304響應緩存服務器，就說明後端服務器上對於該資源在時間戳上沒有發生改變，緩存服務器收到304的響應後，它會把本身的緩存生命週期日後延長一段時間，同時把客戶端的請求從該緩存中響應給客戶端；若是後端服務器響應的是200的狀態碼，緩存服務器收到該響應，會把後端服務器的響應資源緩存到本身本地，而後在從緩存中響應客戶端請求；這就是所謂的條件是請求；對於緩存來講，緩存的命中相當重要，所謂命中就表示客戶端訪問某資源，可以從緩存中響應，那麼咱們就說該次http事務被緩存命中；一個緩存若是命中率極低，那麼咱們就會認爲該緩存緩存的意義不大，因此一個緩存項緩存是否有意義，關鍵還要看它的命中率如何；命中率有兩種，第一種是基於頁面數量來進行衡量的，咱們叫作頁面命中率；一個是基於頁面的體積進行衡量的，咱們叫這種爲字節命中率；同時緩存又分私有緩存和公有緩存，所謂私有緩存就表示某客戶端的私有數據，一般該緩存只能被某一客戶端命中，因此一般狀況下，這種私有緩存是在瀏覽器上存儲；而公有緩存是指沒有私有屬性的緩存，對於全部客戶端均可用，咱們這裏一般說的緩存都是指這種公有緩存；

　　瞭解了緩存的大概介紹，咱們再來看看在http協議中緩存是如何被控制的；http1.0中的緩存控制機制吧！在http1.0協議中，緩存控制機制是經過後端服務器的響應首部expires給定一個到期時間，來明確告訴客戶端該資源在給定的這個時間內都是有效的；咱們知道對於一個站點來講，它多是全球的，這樣一來若是經過絕對時間來控制緩存，很明顯，若是客戶端的時間和服務端的時間有偏差，頗有可能存在一部分客戶端訪問某資源時，獲得服務端響應expires首部的時間在客戶端就是失效的。這樣一來對於這部分客戶端很明顯緩存對於他們是無緣的；因此在http1.0中這種絕對時間控制機制對於那種全球性的網站是不太適合的；爲了解決這樣的困境，在http1.1協議中引入了相對時間控制機制，這種緩存控制機制是利用響應報文首部的cache-control特定值maxage或s-maxage的值控制的；什麼意思呢？就是客戶端請求某一資源時，服務端會明確告訴客戶端該資源可緩存，緩存的時間是多長時間，這樣一來就不存在客戶端系統時間和服務器時間不兼容或者有偏差的狀況致使緩存天前或延後失效的問題；maxage指定的時間適用於那些公有緩存和私有緩存，而s-maxage只適用於公有緩存；在現在普片http1.1或2.0協議中爲了兼容http1.0，一般這兩種時間控制機制都是共同存在的；咱們能夠隨便打開一網站來看看這兩個首部；

 　　提示：以上響應首部就是告訴瀏覽器下次請求該資源時，若是在expires首部給定的時間以前訪問該資源，都會從緩存中直接響應；若是咱們客戶端時間和服務端的時間有偏差或不兼容，那麼在本次請求的後7776000秒以前，若是該資源再次被訪問都從緩存中直接響應；也就說在本次訪問到下次訪問的時間若是小於7776000秒就直接從緩存中響應；

　　在http1.1協議中除了上面基於時間的緩存控制機制外，還引入了條件式請求的機制來判斷緩存有效方式，在上面咱們已經大概闡述過條件式請求的邏輯；這裏再大概的描述下，所謂條件式請求就是客戶端每訪問一次服務端的資源，都會去問真正的服務器該資源的時間戳改變了沒有，若是沒有改變服務端就用304響應告訴客戶端沒有變，從而客戶端的請求就會被緩存直接響應；若是服務端上的對應資源發生了變化，那麼服務端會以200的響應碼告訴客戶端資源的時間戳發生改變了，同時把改變後的資源發送給客戶端，客戶端收到服務端的響應後，它會把新的資源緩存起來，而後再用新的資源響應客戶端；其實對於這種基於時間戳的形式來判斷資源是否改變，實際上是不是很精準的；好比服務器上的某一資源在一秒鐘變化了8次，若是基於時間戳來判斷資源是否改變（精確到秒），極可能服務端會告訴客戶端資源沒變，其實服務端上的資源改變了，爲了解決這種問題，在http1.1還引進了擴展標記的控制機制，這種控制機制和基於時間戳控制機制流程都是同樣的，只是在基於時間戳控制是以資源的時間戳來判斷該資源是否發生改變，而擴展標記控制機制是以資源的校驗碼來判別資源是否發生改變，很明顯後者對於資源是否發生改變的控制更加精準，當同時對服務端的CPU消耗也就更多一點，由於每一次響應都要把對應資源校驗下，拿到其校驗碼進行和客戶端的校驗碼對比；在http1.1中基於時間戳的條件是請求表現形式在客戶端請求首部if-modified-since，表示告訴服務自從某某時間後服務端對應資源發生變化了嗎，響應報文中以last-modified首部來告訴客戶端服務器上對應資源的最近修改時間戳，若是響應報文中的時間戳比請求報文中的時間戳新，那麼客戶端就會收到200的響應碼，若是響應報文中的時間戳小於或等於請求報文中的時間戳，那麼客戶端就會收到304的響應碼，意思就是指資源沒有發生變化，該緩存能夠繼續使用；一般客戶端請求某資源服務端會用last-modified首部告訴客戶端資源的時間戳，以便判斷資源是否發生改變；基於擴展標記的方式在http1.1協議中的表現形式就是在請求報文首部以if-none-match來告訴服務端客戶端請求資源的校驗，響應報文首部用Etag首部告訴客戶端對應資源的校驗碼，若是二者相等表示資源沒有發生改變，對應響應碼就是304，若是二者不等，表示資源發生了改變，響應碼就是200；擴展標記機制經過對比校驗碼的形式來判斷資源是否發生改變；

 　　提示：從上面的響應報文和請求報文首部的值來對比，很容易判斷該資源沒有發生改變；一般狀況下咱們只是基於某一種機制來控制緩存就好，若是你想精度高一點，咱們直接使用擴展標記機制便可，若是精度沒有那麼高，可使用基於資源時間戳的機制來控制就好；

　　瞭解了http協議中的緩存控制機制，咱們這裏在着重說一下cache-control在請求報文中的值，和響應報文中的值表明意義（如何處理緩存內容）

　　http1.1協議中請求首部cache-control的值若是是「no-cache」即表示告訴緩存服務器本次請求不要用緩存裏的數據響應；

 　　提示：以上請求就表示告訴緩存服務器不要用緩存響應本次請求，因此咱們能看到本次請求的狀態碼是200而非304；一般咱們使用瀏覽器對資源強刷，請求報文中cache-control的值就是"no-cache"

　　固然對於請求報文中cache-control的值還有多，可是用的比較少，這裏就不過多強調其餘值的意思，咱們着中來講說http協議1.1中，響應首部cache-control的值；在響應報文首部中cache-control的值主要是告訴緩存服務器或緩存系統怎麼處理緩存數據；好比在響應報文首部cache-control的值是「public」就表示該數據能夠被公用緩存系統或服務器緩存，對於私有緩存服務器或系統固然也是能夠緩存該數據；若是響應首部cache-control的值是「private」就表示告訴緩存系統該數據只能用於私有緩存系統中，公有緩存系統不能緩存該數據；若是是「no-cache」就表示告訴緩存系統該數據可緩存，當在響應給客戶端以前須要作條件式請求進行緩存有效性驗證；「no-store」表示告訴緩存系統該資源或數據不容許存儲在緩存中；「must-revalidate」這個意思同「no-cache」同樣表示可緩存，但響應必須作條件式請求驗證緩存的有效性；「max-age」表示告訴緩存系統該資源或數據的緩存時長是多少秒；「s-maxage」表示告訴緩存系統該資源在公有緩存系統上的生命時長（該值表示指定公有緩存系統或者代理緩存服務器上的緩存時長）；

 　　在瞭解了http1.1協議中是如何控制緩存，接下來咱們聊一聊針對web服務緩存應用的開源實現；對於web應用緩存系統開源實現有兩款軟件squid和varnish，這兩款軟件有點像apache httpd 和nginx 關係，他們分別是不一樣年代的產品，對於varnish是來說，能夠說它是squid的替代品，由於varnish相比之下要比squid性能更穩定，響應速度更快，支持的併發鏈接更多等等；

　　varnish的官方站點是http://www.varnish-cache.org，它和其餘主流開源產品相似有community和enterprise兩個版本，前者免費，後者你懂的；varnish它是一款高性能的http緩存服務器，其程序架構以下

 　　提示：varnish程序架構如上圖，主要由四部分組成，配置接口VCL、manager進程、cache進程和共享內存日誌；其中manager進程主要是管控cache進程的，配置文件的編譯並加載，而cache進程包含多種類型的線程，每一個線程處理一類事務，如command line處理命令行命令的，log/stats記錄日誌和統計數據，accept用於接收請求，storage/hashing用於管理存儲和緩存中的鍵的，backend communication用於與後端服務器進行通訊用的，object expiry用於管理緩存項和過時時間的；對於varnish的日誌，爲了更高效的提供服務，它的日誌是記錄在共享內存的，而共享內存的大小是固定的，日誌不會越記越大，它採起的是輪起色制，日誌記錄滿了就覆蓋最前邊的日誌，是得日誌最大隻能佔用給定大小的空間；這也是varnish的日誌管理的獨特意方，若是咱們須要保存日誌，須要週期性的去共享內存中把日誌讀出來保存到文件中便可；固然用於日誌管理的工具備不少，varnish提供了五種工具，分別用於管理日誌的，其中varnishlog是把共享內存中的日誌記錄成varnish原始格式的日誌，varnishncsa是把共享內存中的日誌記錄成http combined格式的日誌，varnishtop就是用來對共享內存中的日誌排序用到的工具，varnishhist用於查看日誌歷史信息，varnishstat用於統計數據的；varnish的配置文件有兩個，一個是定義varnish程序自身的工做特性（/etc/varnish/varnish.params），一個是定義緩存工做特性（/etc/varnish/default.vcl），一般狀況下配置個child/cache線程的緩存策略，須要用專用的配置語言vcl(varnish configuration lanuage)，一般這種配置文件在定義好後，不能直接使用，須要用vcl 編譯器將其編譯成C代碼，而後經過c編譯器編譯編譯成共享對象，提供給子進程中的線程連接加載使用；

　　varnish安裝

[root@test_node1-centos7 ~]# yum install -y varnish

　　提示：安裝能夠是編譯也能夠是yum安裝，若是是yum安裝，須要提早把epel倉庫配好，varnish包它來源epel倉庫；

　　varnish的程序環境說明

[root@test_node1-centos7 ~]# rpm -ql varnish
/etc/logrotate.d/varnish
/etc/varnish
/etc/varnish/default.vcl
/etc/varnish/varnish.params
/run/varnish.pid
/usr/bin/varnishadm
/usr/bin/varnishhist
/usr/bin/varnishlog
/usr/bin/varnishncsa
/usr/bin/varnishstat
/usr/bin/varnishtest
/usr/bin/varnishtop
/usr/lib/systemd/system/varnish.service
/usr/lib/systemd/system/varnishlog.service
/usr/lib/systemd/system/varnishncsa.service
/usr/sbin/varnish_reload_vcl
/usr/sbin/varnishd
……省略部份內容……

　　提示：/etc/varnish/varnish.params： 配置varnish服務進程的工做特性，例如監聽的地址和端口，緩存機制；/etc/varnish/default.vcl：配置各Child/Cache線程的緩存策略；/usr/sbin/varnishd是主程序，/usr/bin/varnishadm是命令行管理工具；/usr/bin/varnishhist、varnishlog、varnishncsa、varnishstat、varnishtop都是共享內存日誌交互工具；/usr/bin/varnishtest是測試工具程序；/usr/sbin/varnish_reload_vcl是vcl配置文件重載程序；/usr/lib/systemd/system/varnish.service是varnish服務unit文件；/usr/lib/systemd/system/varnishlog.service和varnishncsa.service是日誌持久服務unit文件；

 　　以上就是http協議中的緩存控制機制說明和varnish程序架構和環境的簡單說明，後續本人會持續更新varnish系列使用說明；有興趣的朋友能夠關注、評論，共同探討和學習；