python爬蟲日誌（14）http請求頭各個屬性的含義

轉載：原文地址

Request Headers：

下圖是我訪問一個URL：http://www.hzau.edu.cn的一個header,根據具體實例來分析一下各部分的功能及其做用。

• Accept

做用： 瀏覽器端能夠接受的媒體類型,

例如： Accept: text/html 表明瀏覽器能夠接受服務器回發的類型爲 text/html 也就是咱們常說的html文檔,若是服務器沒法返回text/html類型的數據,服務器應該返回一個406錯誤(non acceptable)

• 通配符 * 表明任意類型

例如 Accept: / 表明瀏覽器能夠處理全部類型,(通常瀏覽器發給服務器都是發這個)

• Accept-Encoding：

做用： 瀏覽器申明本身接收的編碼方法，一般指定壓縮方法，是否支持壓縮，支持什麼壓縮方法（gzip，deflate），（注意：這不是隻字符編碼）;

例如： Accept-Encoding: zh-CN,zh;q=0.8

• Accept-Language

做用： 瀏覽器申明本身接收的語言。

語言跟字符集的區別：中文是語言，中文有多種字符集，好比big5，gb2312，gbk等等；

例如： Accept-Language: en-us

• Connection

例如：　Connection: keep-alive 當一個網頁打開完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP鏈接不會關閉，若是客戶端再次訪問這個服務器上的網頁，會繼續使用這一條已經創建的鏈接

例如： Connection: close 表明一個Request完成後，客戶端和服務器之間用於傳輸HTTP數據的TCP鏈接會關閉， 當客戶端再次發送Request，須要從新創建TCP鏈接。

• Host（發送請求時，該報頭域是必需的）

做用: 請求報頭域主要用於指定被請求資源的Internet主機和端口號，它一般從HTTP URL中提取出來的

例如: 咱們在瀏覽器中輸入：http://www.hzau.edu.cn

瀏覽器發送的請求消息中，就會包含Host請求報頭域，以下：Host：www.hzau.edu.cn 此處使用缺省端口號80，若指定了端口號，則變成：Host：指定端口號

• Referer

當瀏覽器向web服務器發送請求的時候，通常會帶上Referer，告訴服務器我是從哪一個頁面連接過來的，服務器籍此能夠得到一些信息用於處理。好比從我主頁上連接到一個朋友那裏，他的服務器就可以從HTTP Referer中統計出天天有多少用戶點擊我主頁上的連接訪問他的網站。

• User-Agent

做用：告訴HTTP服務器， 客戶端使用的操做系統和瀏覽器的名稱和版本.

咱們上網登錄論壇的時候，每每會看到一些歡迎信息，其中列出了你的操做系統的名稱和版本，你所使用的瀏覽器的名稱和版本，這每每讓不少人感到很神奇，實際上，服務器應用程序就是從User-Agent這個請求報頭域中獲取到這些信息User-Agent請求報頭域容許客戶端將它的操做系統、瀏覽器和其它屬性告訴服務器。

例如： User-Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; CIBA; .NET CLR 2.0.50727; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET4.0C; InfoPath.2; .NET4.0E)

另外，訪問一些其餘的URL的時候，request 的Header裏面一些其餘的字段，下面來進行列舉：

好比我在登陸一個須要用戶名密碼登陸的網站時Request Header裏面就有上面尚未提到過的字段。

如圖所示：

• Cache-Control

Cache-Control與Expires的做用一致，都是指明當前資源的有效期，控制瀏覽器是否直接從瀏覽器緩存取數據仍是從新發請求到服務器取數據。只不過Cache-Control的選擇更多，設置更細緻，若是同時設置的話，其優先級高於Expires。咱們網頁的緩存控制是由HTTP頭中的「Cache-control」來實現的，常見值有private、no-cache、max-age、must-revalidate等，默認爲private。這幾種值的做用是根據從新查看某一頁面時不一樣的方式來區分的：

（1）打開新窗口

值爲private、no-cache、must-revalidate，那麼打開新窗口訪問時都會從新訪問服務器。而若是指定了max-age值（單位爲秒），那麼在此值內的時間裏就不會從新訪問服務器，例如：

Cache-control: max-age=5(表示當訪問此網頁後的5秒內再次訪問不會去服務器)

（2）在地址欄回車

值爲private或must-revalidate則只有第一次訪問時會訪問服務器，之後就再也不訪問。

值爲no-cache，那麼每次都會訪問。

值爲max-age，則在過時以前不會重複訪問。

（3）按後退按扭

值爲private、must-revalidate、max-age，則不會重訪問，

值爲no-cache，則每次都重複訪問

（4）按刷新按扭

不管爲什麼值，都會重複訪問

• Cookie

Cookie是用來存儲一些用戶信息以便讓服務器辨別用戶身份的（大多數須要登陸的網站上面會比較常見），好比cookie會存儲一些用戶的用戶名和密碼，當用戶登陸後就會在客戶端產生一個cookie來存儲相關信息，這樣瀏覽器經過讀取cookie的信息去服務器上驗證並經過後會斷定你是合法用戶，從而容許查看相應網頁。固然cookie裏面的數據不只僅是上述範圍，還有不少信息能夠存儲是cookie裏面，好比sessionid等。

• If-Modified-Since

做用： 把瀏覽器端緩存頁面的最後修改時間發送到服務器去，服務器會把這個時間與服務器上實際文件的最後修改時間進行對比。若是時間一致，那麼返回304，客戶端就直接使用本地緩存文件。若是時間不一致，就會返回200和新的文件內容。客戶端接到以後，會丟棄舊文件，把新文件緩存起來，並顯示在瀏覽器中.

例如：Mon, 17 Aug 2015 12:03:33 GMT

• If-None-Match

做用: If-None-Match和ETag一塊兒工做，工做原理是在HTTP Response中添加ETag信息。 當用戶再次請求該資源時，將在HTTP Request 中加入If-None-Match信息(ETag的值)。若是服務器驗證資源的ETag沒有改變（該資源沒有更新），將返回一個304狀態告訴客戶端使用本地緩存文件。不然將返回200狀態和新的資源和Etag. 使用這樣的機制將提升網站的性能

例如: If-None-Match: W/」3119-1437038474000」