動手作webserver的核心之http解析

時間 2019-12-14

標籤動手 webserver 核心 http 解析欄目 HTTP/TCP 简体版

原文原文鏈接

簡介

webserver往小裏說核心功能就是socket管理、url處理、http協議處理、業務dll管理等；下面簡介紹一下http協議：超文本傳輸協議(HTTP)是一種通訊協議，當時就是爲web傳輸設計的一個基於tcp的協議；基於這個字面上理解，能夠簡單的點說就是用tcp來傳輸文本、數據的一種編解碼格式。傳輸協議通常好比說定個長度+內容，或者以回車符做爲結尾等方式。http協議是文本傳輸協議，因此也是採用回車符來結尾的方式來實現編碼傳輸解析的；這裏使用分析工具來簡單分析一下http的基本格式：html

從上圖能夠看出http的基本格式通常大致爲成header和body,header的第一行是固定的status line，header與body之間用回車符+空行+回車符來分隔的git

GET

webserver通常收到get請求以下：github

1  GET /yswenli/p/8858669.html HTTP/1.1 
2  Host www.cnblogs.com
3  User-Agent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36  Accept image/webp,image/*,*/*;q=0.8 
4  Referer https://www.cnblogs.com/yswenli/p/8858669.html 
5  Accept-Encoding gzip, deflate, sdch 6 Accept-Language zh-CN,zh;q=0.8

也就是說若是發起了一個get請求的時候，webserver只是收到一個一個http header，直接所有收取後解析就行web

POST

若是是一個post請求呢？查看html相關內容，能夠看post有不少方式，整體上分紅三種，一種是默認的application/x-www-form-urlencoded：chrome

1 POST http://www.example.com HTTP/1.1
2 Content-Type: application/x-www-form-urlencoded;charset=utf-8
3 
4 title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3

這種格式就是帶有header和body兩部份內容，解析的時候能夠先按get收頭部，而後再取body，body裏面的參數取值是先urldecode再htmldecode就能夠了。json

第二種就是json、xml、plaine等：app

1 POST http://www.example.com HTTP/1.1 
2 Content-Type: application/json;charset=utf-8
3 
4 {"title":"test","sub":[1,2,3]}

這種和上面相似，不過在取body的時候直接讀就行~socket

還有第三種multipart/form-data，這種模式格式比較複雜，它支持多鍵值對、多文件的方式，使用特定的boundary來分隔bodytcp

 1 POST http://www.example.com HTTP/1.1
 2 Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryrGKCBY7qhFd3TrwA
 3 
 4 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
 5 Content-Disposition: form-data; name="name"
 6 
 7 yswenli
 8 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
 9 Content-Disposition: form-data; name="file"; filename="chrome.png"
10 Content-Type: image/png
11 
12 PNG ... content of chrome.png ... 
13 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
14 Content-Disposition: form-data; name="text"
15 
16 title
17 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
18 Content-Disposition: form-data; name="file"; filename="chrome2.png"
19 Content-Type: image/png
20 
21 PNG ... content of chrome.png ...
22 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA--

這種格式也是帶有header和body兩部份內容，解析的時候先按get收頭部，而後再取body，body裏面的內容先按boundry進行分割，而後再根據content-type進行判斷取出文件內容。工具

TCP轉HTTP

即然拿到相關數據格式，並研究分析了http的編碼格式，下面就能夠開始解碼了。首先使用一個data來接收socket的tcp數據包，而後統一分析http包的header，直到截取到\r\n+""+\r\n爲止。

 1             using (MemoryStream ms = new MemoryStream(buffer))
 2             {
 3                 ms.Position = 0;
 4 
 5                 using (SAEA.Common.StreamReader streamReader = new SAEA.Common.StreamReader(ms))
 6                 {
 7                     while (true)
 8                     {
 9                         var str = streamReader.ReadLine();
10                         if (str == string.Empty)
11                         {
12                             this.HeaderStr = _stringBuilder.ToString();
13                             _stringBuilder.Clear();
14                             break;
15                         }
16                         else if (str == null && string.IsNullOrEmpty(this.HeaderStr))
17                         {
18                             return false;
19 
20                         }
21                         else
22                             _stringBuilder.AppendLine(str);
23                     }
24                 }
25             }

上面使用了一個自定義的StreamReader，緣由是自帶的那個沒法定位Stream的Position；若已成功解析出http的header，接下來就能夠根據header來判斷提交的方式是get仍是post等。

 1         /// <summary>
 2         /// 解析http請求的數據
 3         /// </summary>
 4         /// <param name="data"></param>
 5         /// <param name="onUnpackage"></param>
 6         public void GetRequest(byte[] data, Action<RequestDataReader> onUnpackage)
 7         {
 8             lock (_locker)
 9             {
10                 _cache.AddRange(data);
11 
12                 var buffer = _cache.ToArray();
13 
14                 if (!isAnalysis)
15                 {
16                     isAnalysis = _httpStringReader.Analysis(buffer);
17                 }
18                 if (isAnalysis)
19                 {
20                     //post須要處理body
21                     if (_httpStringReader.Method == ConstString.POSTStr)
22                     {
23                         var contentLen = _httpStringReader.ContentLength;
24                         var positon = _httpStringReader.Position;
25                         var totlalLen = contentLen + positon;
26                         if (buffer.Length == totlalLen)
27                         {
28                             _httpStringReader.AnalysisBody(buffer);
29                             onUnpackage.Invoke(_httpStringReader);
30                             Array.Clear(buffer, 0, buffer.Length);
31                             buffer = null;
32                             _cache.Clear();
33                             _cache = null;
34                         }
35                     }
36                     else
37                     {
38                         onUnpackage.Invoke(_httpStringReader);
39                         Array.Clear(buffer, 0, buffer.Length);
40                         buffer = null;
41                         _cache.Clear();
42                         _cache = null;
43                     }
44                 }
45             }
46         }

已解析header的話，就能夠根據上面說的相關post的http數據格式來解析body。

 1                switch (this.ContentType)
 2                 {
 3                     case ConstString.FORMENCTYPE1:
 4                         this.Forms = GetRequestForms(Encoding.UTF8.GetString(this.Body));
 5                         break;
 6                     case ConstString.FORMENCTYPE2:
 7                         //todo
 8                         using (MemoryStream ms = new MemoryStream(this.Body))
 9                         {
10                             ms.Position = 0;
11                             using (var sr = new SAEA.Common.StreamReader(ms))
12                             {
13                                 StringBuilder sb = new StringBuilder();
14                                 var str = string.Empty;
15                                 do
16                                 {
17                                     str = sr.ReadLine();
18                                     if (str == null)
19                                     {
20                                         break;
21                                     }
22                                     else
23                                     {
24                                         sb.AppendLine(str);
25                                         if (str.IndexOf(CT) > -1)
26                                         {
27                                             var filePart = GetRequestFormsWithMultiPart(sb.ToString());
28 
29                                             if (filePart != null)
30                                             {
31                                                 sr.ReadLine();
32 
33                                                 filePart.Data = sr.ReadData(sr.Position, this.Boundary);
34                                                 if (filePart.Data != null)
35                                                 {
36                                                     filePart.Data = filePart.Data.Take(filePart.Data.Length - 2).ToArray();
37                                                 }
38                                                 if (this.PostFiles == null)
39                                                     this.PostFiles = new List<FilePart>();
40                                                 this.PostFiles.Add(filePart);
41                                             }
42                                             sb.Clear();
43                                             sr.ReadLine();
44                                         }
45                                     }
46                                 }
47                                 while (true);
48 
49                             }
50                         }
51                         break;
52                     default:
53                         this.Json = Encoding.UTF8.GetString(this.Body);
54                         break;
55                 }