HTTP協議GET HEAD簡單介紹

時間 2019-12-08

原文原文鏈接

1、HTTP協議簡介html

　　超文本傳輸協議（Hypertext Transfer Protocol，簡稱HTTP）是應用層協議，自 1990 年起，HTTP 就已經被應用於 WWW 全球信息服務系統。
　　HTTP 是一種請求/響應式的協議。一個客戶機與服務器創建鏈接後，發送一個請求給服務器；服務器接到請求後，給予相應的響應信息。
　　HTTP 的初版本 HTTP/0.9是一種簡單的用於網絡間原始數據傳輸的協議；
　　HTTP/1.0由 RFC 1945 定義，在原 HTTP/0.9 的基礎上，有了進一步的改進，容許消息以類 MIME 信息格式存　在，包括請求/響應範式中的已傳輸數據和修飾符等方面的信息；
　　HTTP/1.1(RFC2616) 的要求更加嚴格以確保服務的可靠性，加強了在HTTP/1.0 沒有充分考慮到分層代理服務器、高速緩衝存儲器、持久鏈接需求或虛擬主機等方面的效能；
　　安全加強版的 HTTP （即S-HTTP或HTTPS），則是HTTP協議與安全套接口層(SSL)的結合，使HTTP的協議數據在傳輸過程當中更加安全nginx

2、HTTP請求數據庫

　　 http請求由三部分組成，分別是：請求行、消息報頭、請求正文瀏覽器

　　請求行以一個方法符號開頭，以空格分開，後面跟着請求的URI和協議的版本，格式以下：緩存

　　Method Request-URI HTTP-Version CRLF 其中：安全

Method表示請求方法；
　　Request-URI是一個統一資源標識符；
　　HTTP-Version表示請求的HTTP協議版本；
　　CRLF表示回車和換行（除了做爲結尾的CRLF外，不容許出現單獨的CR或LF字符）。服務器

　　http請求方法有多種，常見的有以下幾個（請求方法名全爲大寫字母）
　　POST    在Request-URI所標識的資源後附加新的數據
　　HEAD    請求獲取由Request-URI所標識的資源的響應消息報頭
　　PUT     請求服務器存儲一個資源，並用Request-URI做爲其標識
　　DELETE 請求服務器刪除Request-URI所標識的資源
　　TRACE   請求服務器回送收到的請求信息，主要用於測試或診斷
　　CONNECT 保留未來使用
　　OPTIONS 請求查詢服務器的性能，或者查詢與資源相關的選項和需求網絡

　　下面是用於HTTP請求中的經常使用請求頭字段：
　　Accept：用於高速服務器，客戶機支持的數據類型
　　Accept-Charset：用於告訴服務器，客戶機採用的編碼格式
　　Accept-Encoding：用於告訴服務器，客戶機支持的數據壓縮格式
　　Accept-Language：客戶機的語言環境
　　Host：客戶機經過這個頭高速服務器，想訪問的主機名
　　If-Modified-Since：客戶機經過這個頭告訴服務器，資源的緩存時間
　　Referer：客戶機經過這個頭告訴服務器，它是從哪一個資源來訪問服務器的（防盜鏈）
　　User-Agent：客戶機經過這個頭告訴服務器，客戶機的軟件環境
　　Cookie：客戶機經過這個頭能夠向服務器帶數據
　　Connection：處理完此次請求後是否斷開鏈接仍是繼續保持鏈接
　　Date：當前時間值併發

　　HTTP響應頭：app

　　Location：這個頭配合302狀態碼使用，用於告訴客戶找誰。
　　Server：服務器經過這個頭告訴瀏覽器服務器的類型。
　　Content-Encoding：服務器經過這個頭告訴瀏覽器數據的壓縮格式。
　　Content-Length：服務器經過這個頭告訴瀏覽器回送數據的長度
　　Content-Type：服務器經過這個頭告訴瀏覽器回送數據的類型
　　Last-Modified：告訴瀏覽器當前資源的最後緩存時間
　　Refresh：告訴瀏覽器隔多久刷新一次
　　Content-Disposition：告訴瀏覽器如下載方式打開數據
　　Transfer-Encoding：告訴瀏覽器數據的傳送格式
　　ETag：緩存相關的頭

　　後面三種禁止瀏覽器緩存的頭字段：
　　Expires：告訴瀏覽器把回送的資源緩存多長時間 -1或0則是不緩存
　　Cache-Control：no-cache
　　Pragma：no-cache
　　服務器經過以上兩個頭，也就是控制瀏覽器不要緩存數據
　　實體內容：表明服務器向客戶端回送的數據

　　下面是HTTP GET 請求的請求頭：

 1 //請求url：http://down.360safe.com/inst.exe
 2 
 3 /*Request*/
 4 HEAD /inst.exe HTTP/1.1\r\n"
 5 "Host: down.360safe.com\r\n"
 6 "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13\r\n"
 7 "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n"
 8 "Accept-Language: zh-cn,zh;q=0.5\r\n"
 9 "Accept-Encoding: gzip,deflate\r\n"
10 "Accept-Charset: GB2312,utf-8;q=0.7,*;q=0.7\r\n"
11 "Connection: close\r\n"
12 "\r\n
13 
14 /*Reponse*/
15 HTTP/1.1 200 OK
16 Server: nginx
17 Date: Sat, 23 Jul 2016 07:28:11 GMT
18 Content-Type: application/octet-stream
19 Content-Length: 1430256
20 Last-Modified: Fri, 22 Jan 2016 14:49:14 GMT
21 Connection: close
22 Expires: Sat, 23 Jul 2016 15:28:11 GMT
23 Cache-Control: max-age=28800
24 Accept-Ranges: bytes

3、組裝HTTP HEAD報文

下面使咱們本身組包HEAD報文從原站取head，下面貼出代碼

  1 #include <stdio.h>
  2 #include <stdlib.h>
  3 #include <string.h>
  4 #include <stdbool.h>
  5 #include <sys/socket.h>
  6 #include <sys/types.h>
  7 #include <netinet/in.h>
  8 #include <unistd.h>
  9 #include <net/if.h>
 10 #include <netdb.h> //gethostbyname
 11 
 12 #define STATUS_OK                 0
 13 #define STATUS_NOK                1
 14 #define BUFF_MAX_LEN            1024
 15 #define HOST_IP_LEN            32
 16 
 17 #define HTTP_HEAD  \
 18     "HEAD /%s HTTP/1.1\r\n" \
 19     "Host: %s\r\n" \
 20     "User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13\r\n" \
 21     "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8\r\n" \
 22     "Accept-Language: zh-cn,zh;q=0.5\r\n" \
 23     "Accept-Encoding: gzip,deflate\r\n" \
 24     "Accept-Charset: GB2312,utf-8;q=0.7,*;q=0.7\r\n" \
 25     "Connection: close\r\n" \
 26     "\r\n"
 27 
 28 int getIPbyDomain(const char* domain, char* ip);
 29 int parse_http_url(const char *url, char *domain, char *header);
 30 
 31 /**********************************************************
 32  *  get host ip by domain
 33  **********************************************************/
 34 int getIPbyDomain(const char* domain, char* ip)  
 35 {  
 36     struct hostent *answer; 
 37     
 38     answer = gethostbyname(domain); 
 39     if (NULL == answer)  
 40     {  
 41         return STATUS_NOK;  
 42     }  
 43     if (answer->h_addr_list[0])  
 44         inet_ntop(AF_INET, (answer->h_addr_list)[0], ip, 16);  
 45     else  
 46         return STATUS_NOK;  
 47     return STATUS_OK;  
 48 }  
 49 
 50 /**********************************************************
 51  * Send a http package to detect network connecting status
 52  **********************************************************/
 53 int parse_http_url(const char *url, char *domain, char *header)
 54 {
 55     char *ptr = NULL;
 56     char *host = NULL; 
 57     char *head = NULL;
 58     char buff[BUFF_MAX_LEN] = {0}; 
 59 
 60     if (NULL == url || NULL == domain || NULL == header) 
 61         return STATUS_NOK;
 62     
 63     memset(buff, 0, sizeof(buff));
 64     strcpy(buff, url);
 65 
 66     host = strtok(buff + 7, "/");
 67     head = strtok(NULL, "\0");
 68 
 69     if (NULL == host)
 70         return STATUS_NOK;
 71     if (NULL == head)
 72         head = "/";
 73     
 74     strcpy(domain, host);
 75     strcpy(header, head);
 76 
 77     return STATUS_OK;    
 78 }
 79 
 80 int http_head_request(const char *url)
 81 {
 82     char *p = NULL;
 83     unsigned int dport = 80;
 84     int fd, oneopt = 1;
 85     char buf[BUFF_MAX_LEN] = {0};
 86     char data[BUFF_MAX_LEN * 2] = {0};
 87     char host[BUFF_MAX_LEN] = {0};
 88     char head[BUFF_MAX_LEN] = {0};
 89     char hostip[HOST_IP_LEN] = {0};
 90     struct timeval timeout = {2,0};
 91     struct sockaddr_in client;
 92     struct hostent *hptr;
 93     struct in_addr addr;
 94 
 95     if (url == NULL)
 96         return STATUS_NOK;
 97     if ((fd = socket(AF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0)
 98         return STATUS_NOK;
 99         
100     memset(&client, 0, sizeof(client));
101     if (STATUS_NOK == parse_http_url(url, host, head))
102         return STATUS_NOK;
103 
104     if (getIPbyDomain(host, hostip) != STATUS_OK)
105     {
106         close(fd);
107         return STATUS_NOK;
108     }
109         
110     client.sin_family = AF_INET;
111     client.sin_port = htons(dport);
112     client.sin_addr.s_addr = inet_addr(hostip); 
113 
114     if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, &oneopt, sizeof(oneopt)) < 0 ||
115         setsockopt(fd, SOL_SOCKET, SO_SNDTIMEO, (char *)&timeout, sizeof(struct timeval)) < 0 ||
116         setsockopt(fd, SOL_SOCKET, SO_RCVTIMEO, (char *)&timeout, sizeof(struct timeval)) < 0)
117     {
118         close(fd);
119         return STATUS_NOK;
120     }
121     
122     if (connect(fd, (struct sockaddr *)&client, sizeof(struct sockaddr)) < 0)
123     {
124         close(fd);
125         return STATUS_NOK;
126     }
127 
128     sprintf(data, HTTP_HEAD, head, host);
129     if (send(fd, (void*)data, strlen(data), 0) < 0) 
130     {
131         close(fd);
132         return STATUS_NOK;
133     }
134     printf("-------------Request-----------------\n");    
135     printf("%s\n", data);
136 
137     if (recv(fd, buf, sizeof(buf), 0) < 0 )
138     {
139         close(fd);
140         return STATUS_NOK;
141     }
142     printf("-------------Reponse-----------------\n");    
143     printf("%s\n", buf);
144 
145     close(fd);
146     return STATUS_OK;
147 }
148 
149 int main(int argc, char **argv)
150 {
151     if (argc < 2) {
152         printf("using %s <url>\n", argv[0]);
153         return -1;
154     }
155     http_head_request(argv[1]);
156 
157     return 0;
158 }

運行結果以下：

 1 [root@localhost]# ./test  http://down.360safe.com/inst.exe
 2 
 3 -------------Request-----------------
 4 HEAD /inst.exe HTTP/1.1
 5 Host: down.360safe.com
 6 User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13
 7 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
 8 Accept-Language: zh-cn,zh;q=0.5
 9 Accept-Encoding: gzip,deflate
10 Accept-Charset: GB2312,utf-8;q=0.7,*;q=0.7
11 Connection: close
12 
13 -------------Reponse-----------------
14 HTTP/1.1 200 OK
15 Server: nginx
16 Date: Sat, 23 Jul 2016 07:56:13 GMT
17 Content-Type: application/octet-stream
18 Content-Length: 1430256
19 Last-Modified: Fri, 22 Jan 2016 14:49:16 GMT
20 Connection: close
21 Expires: Sat, 23 Jul 2016 15:56:13 GMT
22 Cache-Control: max-age=28800
23 Accept-Ranges: bytes

GET方法與HEAD相同，只是將method改成GET,其餘內容都同樣

GET：請求指定的頁面信息，並返回實體主體。
　HEAD：只請求頁面的首部。

下面貼幾中HTTP 常見的返回狀態

常見HTTP狀態碼

200 OK

301 Moved Permanently

302 Found

304 Not Modified

307 Temporary Redirect

400 Bad Request

401 Unauthorized

403 Forbidden

404 Not Found

410 Gone

500 Internal Server Error

501 Not Implemented

100 Continue

初始的請求已經接受，客戶應當繼續發送請求的其他部分

101 Switching Protocols

服務器將聽從客戶的請求轉換到另一種協議

200 OK

一切正常，對GET和POST請求的應答文檔跟在後面

201 Created

服務器已經建立了文檔，Location頭給出了它的URL。

202 Accepted

已經接受請求，但處理還沒有完成。

203 Non-Authoritative Information

文檔已經正常地返回，但一些應答頭可能不正確，由於使用的是文檔的拷貝

204 No Content

沒有新文檔，瀏覽器應該繼續顯示原來的文檔。若是用戶按期地刷新頁面，而Servlet能夠肯定用戶文檔足夠新，這個狀態代碼是頗有用的

205 Reset Content

沒有新的內容，但瀏覽器應該重置它所顯示的內容。用來強制瀏覽器清除表單輸入內容

206 Partial Content

客戶發送了一個帶有Range頭的GET請求，服務器完成了它

300 Multiple Choices

客戶請求的文檔能夠在多個位置找到，這些位置已經在返回的文檔內列出。若是服務器要提出優先選擇，則應該在Location應答頭指明。

301 Moved Permanently

客戶請求的文檔在其餘地方，新的URL在Location頭中給出，瀏覽器應該自動地訪問新的URL。

302 Found

相似於301，但新的URL應該被視爲臨時性的替代，而不是永久性的。

303 See Other

相似於301/302，不一樣之處在於，若是原來的請求是POST，Location頭指定的重定向目標文檔應該經過GET提取

304 Not Modified

客戶端有緩衝的文檔併發出了一個條件性的請求（通常是提供If-Modified-Since頭表示客戶只想比指定日期更新的文檔）。服務器告訴客戶，原來緩衝的文檔還能夠繼續使用。

305 Use Proxy

客戶請求的文檔應該經過Location頭所指明的代理服務器提取

307 Temporary Redirect

和302（Found）相同。許多瀏覽器會錯誤地響應302應答進行重定向，即便原來的請求是 POST，即便它實際上只能在POST請求的應答是303時才能重定向。因爲這個緣由，HTTP 1.1新增了307，以便更加清除地區分幾個狀態代碼：當出現303應答時，瀏覽器能夠跟隨重定向的GET和POST請求；若是是307應答，則瀏覽器只能跟隨對GET請求的重定向。

400 Bad Request

請求出現語法錯誤。

401 Unauthorized

客戶試圖未經受權訪問受密碼保護的頁面。應答中會包含一個WWW-Authenticate頭，瀏覽器據此顯示用戶名字/密碼對話框，而後在填寫合適的Authorization頭後再次發出請求。

403 Forbidden

資源不可用。

404 Not Found

沒法找到指定位置的資源

405 Method Not Allowed

請求方法（GET、POST、HEAD、Delete、PUT、TRACE等）對指定的資源不適用。

406 Not Acceptable

指定的資源已經找到，但它的MIME類型和客戶在Accpet頭中所指定的不兼容