python入門第三十三天--網絡通訊原理（補充）

時間 2019-11-18

標籤 python 入門第三十三天 3天網絡通訊原理補充欄目 Python 简体版

原文原文鏈接

一、互聯網的本質就是一系列的網絡協議

一臺硬設有了操做系統，而後裝上軟件你就能夠正常使用了，然而你也只能本身使用html

像這樣，每一個人都擁有一臺本身的機器，然而彼此孤立瀏覽器

英語成爲世界上全部人通訊的統一標準，若是把計算機當作分佈於世界各地的人，那麼鏈接兩臺計算機之間的internet實際上就是服務器

一系列統一的標準，這些標準稱之爲互聯網協議，互聯網的本質就是一系列的協議，總稱爲‘互聯網協議’（Internet Protocol Suite).網絡

互聯網協議的功能：定義計算機如何接入internet，以及接入internet的計算機通訊的標準。app

1.1osi七層協議

互聯網協議按照功能不一樣分爲osi七層或tcp/ip五層或tcp/ip四層socket

每層運行常見物理設備tcp

1.二、tcp/ip五層模型講解

咱們將應用層，表示層，會話層並做應用層，從tcp／ip五層協議的角度來闡述每層的由來與功能，搞清楚了每層的主要協議ide

就理解了整個互聯網通訊的原理。ui

首先，用戶感知到的只是最上面一層應用層，自上而下每層都依賴於下一層，因此咱們從最下一層開始切入，比較好理解google

每層都運行特定的協議，越往上越靠近用戶，越往下越靠近硬件

1.2.一、物理層

物理層由來：上面提到，孤立的計算機之間要想一塊兒玩，就必須接入internet，言外之意就是計算機之間必須完成組網

物理層功能：主要是基於電器特性發送高低電壓(電信號)，高電壓對應數字1，低電壓對應數字0

2.3.2 數據鏈路層

數據鏈路層由來：單純的電信號0和1沒有任何意義，必須規定電信號多少位一組，每組什麼意思

數據鏈路層的功能：定義了電信號的分組方式

以太網協議：

早期的時候各個公司都有本身的分組方式，後來造成了統一的標準，即以太網協議ethernet

ethernet規定

一組電信號構成一個數據包，叫作‘幀’
每一數據幀分紅：報頭head和數據data兩部分

head

data

head包含：(固定18個字節)

發送者／源地址，6個字節
接收者／目標地址，6個字節
數據類型，6個字節

data包含：(最短46字節，最長1500字節)

數據包的具體內容

head長度＋data長度＝最短64字節，最長1518字節，超過最大限制就分片發送

mac地址：

head中包含的源和目標地址由來：ethernet規定接入internet的設備都必須具有網卡，發送端和接收端的地址即是指網卡的地址，即mac地址

mac地址：每塊網卡出廠時都被燒製上一個世界惟一的mac地址，長度爲48位2進制，一般由12位16進制數表示（前六位是廠商編號，後六位是流水線號）

二進制：

用電壓高低來傳遞數據
高電壓表明1    低電壓表明0

十進制： 128 64  32  16  8   4   2   1
二進制： 0   0   0   0   0   0   0   0   
位  數： 8   7   6   5   4   3   2   1  

在ASCII表中 字符2的二進制 0011 0010    十進制50十六進制32
在ASCII表中 字符!的二進制 0010 0001    十進制33十六進制21

2  若是十進制的50——>二進制 110010 
!  若是十進制的33——>二進制 100001
若是計算機須要發送字符2！,轉換爲電信號就是110010 100001 計算機是不識別空格的 因此真實的發送信號是110010100001高低電壓發送。
此時若是須要讓計算機識別這些信息，就須要人爲的定義一套規則。好比說每一個8個信號，就表明一個字符0011001000100001

ord能夠在Python查看對應字符的十進制表示
>>> ord("!")
33
>>>



C:\Users\Administrator>ipconfig /all

Windows IP 配置

   主機名  . . . . . . . . . . . . . : USER-20171226LK
   主 DNS 後綴 . . . . . . . . . . . :
   節點類型  . . . . . . . . . . . . : 混合
   IP 路由已啓用 . . . . . . . . . . : 否
   WINS 代理已啓用 . . . . . . . . . : 否

以太網適配器 本地鏈接:

   鏈接特定的 DNS 後綴 . . . . . . . :
   描述. . . . . . . . . . . . . . . : Realtek PCIe GBE Family Controller
   物理地址. . . . . . . . . . . . . : E9-D5-5E-03-7A-E9                         ####網卡的mac地址
   DHCP 已啓用 . . . . . . . . . . . : 是
   自動配置已啓用. . . . . . . . . . : 是
   本地連接 IPv6 地址. . . . . . . . : fe80::ad1d:5018:876b:3d00%12(首選)
   IPv4 地址 . . . . . . . . . . . . : 192.168.0.106(首選)
   子網掩碼  . . . . . . . . . . . . : 255.255.255.0
   得到租約的時間  . . . . . . . . . : 2018年8月31日 9:22:04
   租約過時的時間  . . . . . . . . . : 2018年8月31日 15:22:04
   默認網關. . . . . . . . . . . . . : 192.168.0.1
   DHCP 服務器 . . . . . . . . . . . : 192.168.0.1
   DHCPv6 IAID . . . . . . . . . . . : 266392926
   DHCPv6 客戶端 DUID  . . . . . . . : 00-01-00-01-21-D3-6D-11-E0-D5-5E-03-6A-B5

   DNS 服務器  . . . . . . . . . . . : 218.2.2.2

View Code

廣播：

有了mac地址，同一網絡內的兩臺主機就能夠通訊了（一臺主機經過arp協議獲取另一臺主機的mac地址）

ethernet採用最原始的方式，廣播的方式進行通訊，即計算機通訊基本靠吼

2.3.3 網絡層

網絡層由來：有了ethernet、mac地址、廣播的發送方式，世界上的計算機就能夠彼此通訊了，問題是世界範圍的互聯網是由

一個個彼此隔離的小的局域網組成的，那麼若是全部的通訊都採用以太網的廣播方式，那麼一臺機器發送的包全世界都會收到，

這就不只僅是效率低的問題了，這會是一種災難

上圖結論：必須找出一種方法來區分哪些計算機屬於同一廣播域，哪些不是，若是是就採用廣播的方式發送，若是不是，

就採用路由的方式（向不一樣廣播域／子網分發數據包），mac地址是沒法區分的，它只跟廠商有關

網絡層功能：引入一套新的地址用來區分不一樣的廣播域／子網，這套地址即網絡地址

IP協議：

規定網絡地址的協議叫ip協議，它定義的地址稱之爲ip地址，普遍採用的v4版本即ipv4，它規定網絡地址由32位2進製表示
範圍0.0.0.0-255.255.255.255
一個ip地址一般寫成四段十進制數，例：172.16.10.1

ip地址分紅兩部分

網絡部分：標識子網
主機部分：標識主機

注意：單純的ip地址段只是標識了ip地址的種類，從網絡部分或主機部分都沒法辨識一個ip所處的子網

例：172.16.10.1與172.16.10.2並不能肯定兩者處於同一子網

子網掩碼

所謂」子網掩碼」，就是表示子網絡特徵的一個參數。它在形式上等同於IP地址，也是一個32位二進制數字，它的網絡部分所有爲1，主機部分所有爲0。好比，IP地址172.16.10.1，若是已知網絡部分是前24位，主機部分是後8位，那麼子網絡掩碼就是11111111.11111111.11111111.00000000，寫成十進制就是255.255.255.0。

知道」子網掩碼」，咱們就能判斷，任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網掩碼分別進行AND運算（兩個數位都爲1，運算結果爲1，不然爲0），而後比較結果是否相同，若是是的話，就代表它們在同一個子網絡中，不然就不是。

好比，已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0，請問它們是否在同一個子網絡？二者與子網掩碼分別進行AND運算，

172.16.10.1：10101100.00010000.00001010.000000001

255255.255.255.0:11111111.11111111.11111111.00000000

AND運算得網絡地址結果：10101100.00010000.00001010.000000001->172.16.10.0

172.16.10.2：10101100.00010000.00001010.000000010

255255.255.255.0:11111111.11111111.11111111.00000000

AND運算得網絡地址結果：10101100.00010000.00001010.000000001->172.16.10.0

結果都是172.16.10.0，所以它們在同一個子網絡。

總結一下，IP協議的做用主要有兩個，一個是爲每一臺計算機分配IP地址，另外一個是肯定哪些地址在同一個子網絡。

ip數據包

ip數據包也分爲head和data部分，無須爲ip包定義單獨的欄位，直接放入以太網包的data部分

head：長度爲20到60字節

data：最長爲65,515字節。

而以太網數據包的」數據」部分，最長只有1500字節。所以，若是IP數據包超過了1500字節，它就須要分割成幾個以太網數據包，分開發送了。

以太網頭

ip 頭

ip數據

ARP協議

arp協議由來：計算機通訊基本靠吼，即廣播的方式，全部上層的包到最後都要封裝上以太網頭，而後經過以太網協議發送，在談及以太網協議時候，我門瞭解到

通訊是基於mac的廣播方式實現，計算機在發包時，獲取自身的mac是容易的，如何獲取目標主機的mac，就須要經過arp協議

arp協議功能：廣播的方式發送數據包，獲取目標主機的mac地址

協議工做方式：每臺主機ip都是已知的

例如：主機172.16.10.10/24訪問172.16.10.11/24

一：首先經過ip地址和子網掩碼區分出本身所處的子網

場景	數據包地址
同一子網	目標主機mac，目標主機ip
不一樣子網	網關mac，目標主機ip

二：分析172.16.10.10/24與172.16.10.11/24處於同一網絡(若是不是同一網絡，那麼下表中目標ip爲172.16.10.1,經過arp獲取的是網關的mac)

	源mac	目標mac	源ip	目標ip	數據部分
發送端主機	發送端mac	FF:FF:FF:FF:FF:FF	172.16.10.10/24	172.16.10.11/24	數據

三：這個包會以廣播的方式在發送端所處的自網內傳輸，全部主機接收後拆開包，發現目標ip爲本身的，就響應，返回本身的mac

網絡層

IPv4版本規定：

192.168.0.106                     IPv4 地址
11000000.10101000.00000000.01101010

255.255.255.0                     子網掩碼
11111111.11111111.11111111.00000000

經過AND運算計算出隱藏的網絡地址
11000000.10101000.00000000.01101010  IPv4 地址
11111111.11111111.11111111.00000000  子網掩碼
11000000.10101000.00000000.00000000  網絡地址
192.168.0.0          計算出來後發現，局域網的全部電腦得出的結果都是同樣的。通常的家庭中的路由器鏈接的全部電子設備組成一個小型的局域網

子網掩碼的另外一種表示方式；因爲子網掩碼的固定，能夠在IP地址後用十進制24表示192.168.0.106 /24   表示192.168.0.106 /255.255.255.0

數據鏈路層 
.....head.....|.......data..........
mac源| mac目標|      數據部分

網絡層
以太網頭......|......ip 頭 .....|........ip數據..........
以太網頭......|源ip, 目標ip+掩碼|........ip數據..........


mac源| mac目標|源ip, 目標ip+掩碼|........ip數據..........

View Code

2.3.4 傳輸層

傳輸層的由來：網絡層的ip幫咱們區分子網，以太網層的mac幫咱們找到主機，而後你們使用的都是應用程序，你的電腦上可能同時開啓qq，暴風影音，等多個應用程序，

那麼咱們經過ip和mac找到了一臺特定的主機，如何標識這臺主機上的應用程序，答案就是端口，端口即應用程序與網卡關聯的編號。

傳輸層功能：創建端口到端口的通訊

補充：端口範圍0-65535，0-1023爲系統佔用端口

tcp協議：

可靠傳輸，TCP數據包沒有長度限制，理論上能夠無限長，可是爲了保證網絡的效率，一般TCP數據包的長度不會超過IP數據包的長度，以確保單個TCP數據包沒必要再分割。

以太網頭

ip 頭

tcp頭

數據

udp協議：

不可靠傳輸，」報頭」部分一共只有8個字節，總長度不超過65,535字節，正好放進一個IP數據包。

以太網頭

ip頭

udp頭

數據

tcp報文

tcp三次握手和四次揮手

2.3.5 應用層

應用層由來：用戶使用的都是應用程序，均工做於應用層，互聯網是開發的，你們均可以開發本身的應用程序，數據多種多樣，必須規定好數據的組織形式

應用層功能：規定應用程序的數據格式。

例：TCP協議能夠爲各類各樣的程序傳遞數據，好比Email、WWW、FTP等等。那麼，必須有不一樣協議規定電子郵件、網頁、FTP數據的格式，這些應用程序協議就構成了」應用層」。

2.3.6 socket

咱們知道兩個進程若是須要進行通信最基本的一個前提能可以惟一的標示一個進程，在本地進程通信中咱們可使用PID來惟一標示一個進程，但PID只在本地惟一，網絡中的兩個進程PID衝突概率很大，這時候咱們須要另闢它徑了，咱們知道IP層的ip地址能夠惟一標示主機，而TCP層協議和端口號能夠惟一標示主機的一個進程，這樣咱們能夠利用ip地址＋協議＋端口號惟一標示網絡中的一個進程。

可以惟一標示網絡中的進程後，它們就能夠利用socket進行通訊了，什麼是socket呢？咱們常常把socket翻譯爲套接字，socket是在應用層和傳輸層之間的一個抽象層，它把TCP/IP層複雜的操做抽象爲幾個簡單的接口供應用層調用已實現進程在網絡中通訊。

socket起源於UNIX，在Unix一切皆文件哲學的思想下，socket是一種"打開—讀/寫—關閉"模式的實現，服務器和客戶端各自維護一個"文件"，在創建鏈接打開後，能夠向本身文件寫入內容供對方讀取或者讀取對方內容，通信結束時關閉文件。

三.網絡通訊實現

想實現網絡通訊，每臺主機需具有四要素

本機的IP地址
子網掩碼
網關的IP地址
DNS的IP地址

獲取這四要素分兩種方式

1.靜態獲取

即手動配置

2.動態獲取

經過dhcp獲取

以太網頭

ip頭

udp頭

dhcp數據包

（1）最前面的」以太網標頭」，設置發出方（本機）的MAC地址和接收方（DHCP服務器）的MAC地址。前者就是本機網卡的MAC地址，後者這時不知道，就填入一個廣播地址：FF-FF-FF-FF-FF-FF。

（2）後面的」IP標頭」，設置發出方的IP地址和接收方的IP地址。這時，對於這二者，本機都不知道。因而，發出方的IP地址就設爲0.0.0.0，接收方的IP地址設爲255.255.255.255。

（3）最後的」UDP標頭」，設置發出方的端口和接收方的端口。這一部分是DHCP協議規定好的，發出方是68端口，接收方是67端口。

這個數據包構造完成後，就能夠發出了。以太網是廣播發送，同一個子網絡的每臺計算機都收到了這個包。由於接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是發給誰的，因此每臺收到這個包的計算機，還必須分析這個包的IP地址，才能肯定是否是發給本身的。當看到發出方IP地址是0.0.0.0，接收方是255.255.255.255，因而DHCP服務器知道」這個包是發給個人」，而其餘計算機就能夠丟棄這個包。

接下來，DHCP服務器讀出這個包的數據內容，分配好IP地址，發送回去一個」DHCP響應」數據包。這個響應包的結構也是相似的，以太網標頭的MAC地址是雙方的網卡地址，IP標頭的IP地址是DHCP服務器的IP地址（發出方）和255.255.255.255（接收方），UDP標頭的端口是67（發出方）和68（接收方），分配給請求端的IP地址和本網絡的具體參數則包含在Data部分。

新加入的計算機收到這個響應包，因而就知道了本身的IP地址、子網掩碼、網關地址、DNS服務器等等參數

四.網絡通訊流程

1.本機獲取

本機的IP地址：192.168.1.100
子網掩碼：255.255.255.0
網關的IP地址：192.168.1.1
DNS的IP地址：8.8.8.8

2.打開瀏覽器，想要訪問Google，在地址欄輸入了網址：www.google.com。

3.dns協議(基於udp協議)

13臺根dns：

A.root-servers.net198.41.0.4美國
B.root-servers.net192.228.79.201美國（另支持IPv6）
C.root-servers.net192.33.4.12法國
D.root-servers.net128.8.10.90美國
E.root-servers.net192.203.230.10美國
F.root-servers.net192.5.5.241美國（另支持IPv6）
G.root-servers.net192.112.36.4美國
H.root-servers.net128.63.2.53美國（另支持IPv6）
I.root-servers.net192.36.148.17瑞典
J.root-servers.net192.58.128.30美國
K.root-servers.net193.0.14.129英國（另支持IPv6）
L.root-servers.net198.32.64.12美國
M.root-servers.net202.12.27.33日本（另支持IPv6）

域名定義：http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html

頂級域名：以.com,.net,.org,.cn等等屬於國際頂級域名，根據目前的國際互聯網域名體系，國際頂級域名分爲兩類：類別頂級域名(gTLD)和地理頂級域名(ccTLD)兩種。類別頂級域名是　　　　　　　　以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等結尾的域名，均由國外公司負責管理。地理頂級域名是以國家或地區代碼爲結尾的域名，如"CN"表明中國，"UK"表明英國。地理頂級域名通常由各個國家或地區負責管理。

二級域名：二級域名是以頂級域名爲基礎的地理域名，比喻中國的二級域有，.com.cn,.net.cn,.org.cn,.gd.cn等.子域名是其父域名的子域名，比喻父域名是abc.com,子域名就是www.abc.com或者*.abc.com.
通常來講，二級域名是域名的一條記錄，好比alidiedie.com是一個域名，www.alidiedie.com是其中比較經常使用的記錄，通常默認是用這個，可是相似*.alidiedie.com的域名所有稱做是alidiedie.com的二級

4.HTTP部分的內容，相似於下面這樣：

GET / HTTP/1.1
Host: www.google.com
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1) ……
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Cookie: … …

咱們假定這個部分的長度爲4960字節，它會被嵌在TCP數據包之中。

5 TCP協議

TCP數據包須要設置端口，接收方（Google）的HTTP端口默認是80，發送方（本機）的端口是一個隨機生成的1024-65535之間的整數，假定爲51775。

TCP數據包的標頭長度爲20字節，加上嵌入HTTP的數據包，總長度變爲4980字節。

6 IP協議

而後，TCP數據包再嵌入IP數據包。IP數據包須要設置雙方的IP地址，這是已知的，發送方是192.168.1.100（本機），接收方是172.194.72.105（Google）。

IP數據包的標頭長度爲20字節，加上嵌入的TCP數據包，總長度變爲5000字節。

7 以太網協議

最後，IP數據包嵌入以太網數據包。以太網數據包須要設置雙方的MAC地址，發送方爲本機的網卡MAC地址，接收方爲網關192.168.1.1的MAC地址（經過ARP協議獲得）。

以太網數據包的數據部分，最大長度爲1500字節，而如今的IP數據包長度爲5000字節。所以，IP數據包必須分割成四個包。由於每一個包都有本身的IP標頭（20字節），因此四個包的IP數據包的長度分別爲1500、1500、1500、560。

8 服務器端響應

通過多個網關的轉發，Google的服務器172.194.72.105，收到了這四個以太網數據包。

根據IP標頭的序號，Google將四個包拼起來，取出完整的TCP數據包，而後讀出裏面的」HTTP請求」，接着作出」HTTP響應」，再用TCP協議發回來。

本機收到HTTP響應之後，就能夠將網頁顯示出來，完成一次網絡通訊。

二進制：

用電壓高低來傳遞數據
高電壓表明1    低電壓表明0

十進制： 128 64  32  16  8   4   2   1
二進制： 0   0   0   0   0   0   0   0   
位  數： 8   7   6   5   4   3   2   1  

在ASCII表中 字符2的二進制 0011 0010    十進制50十六進制32
在ASCII表中 字符!的二進制 0010 0001    十進制33十六進制21

2  若是十進制的50——>二進制 110010 
!  若是十進制的33——>二進制 100001
若是計算機須要發送字符2！,轉換爲電信號就是110010 100001 計算機是不識別空格的 因此真實的發送信號是110010100001高低電壓發送。
此時若是須要讓計算機識別這些信息，就須要人爲的定義一套規則。好比說每一個8個信號，就表明一個字符0011001000100001

ord能夠在Python查看對應字符的十進制表示
>>> ord("!")
33
>>>



C:\Users\Administrator>ipconfig /all

Windows IP 配置

   主機名  . . . . . . . . . . . . . : USER-20171226LK
   主 DNS 後綴 . . . . . . . . . . . :
   節點類型  . . . . . . . . . . . . : 混合
   IP 路由已啓用 . . . . . . . . . . : 否
   WINS 代理已啓用 . . . . . . . . . : 否

以太網適配器 本地鏈接:

   鏈接特定的 DNS 後綴 . . . . . . . :
   描述. . . . . . . . . . . . . . . : Realtek PCIe GBE Family Controller
   物理地址. . . . . . . . . . . . . : E9-D5-5E-03-7A-E9                         ####網卡的mac地址
   DHCP 已啓用 . . . . . . . . . . . : 是
   自動配置已啓用. . . . . . . . . . : 是
   本地連接 IPv6 地址. . . . . . . . : fe80::ad1d:5018:876b:3d00%12(首選)
   IPv4 地址 . . . . . . . . . . . . : 192.168.0.106(首選)
   子網掩碼  . . . . . . . . . . . . : 255.255.255.0
   得到租約的時間  . . . . . . . . . : 2018年8月31日 9:22:04
   租約過時的時間  . . . . . . . . . : 2018年8月31日 15:22:04
   默認網關. . . . . . . . . . . . . : 192.168.0.1
   DHCP 服務器 . . . . . . . . . . . : 192.168.0.1
   DHCPv6 IAID . . . . . . . . . . . : 266392926
   DHCPv6 客戶端 DUID  . . . . . . . : 00-01-00-01-21-D3-6D-11-E0-D5-5E-03-6A-B5

   DNS 服務器  . . . . . . . . . . . : 218.2.2.2
   
   

網絡層

IPv4版本規定：

192.168.0.106                     IPv4 地址
11000000.10101000.00000000.01101010

255.255.255.0                     子網掩碼
11111111.11111111.11111111.00000000

經過AND運算計算出隱藏的網絡地址
11000000.10101000.00000000.01101010  IPv4 地址
11111111.11111111.11111111.00000000  子網掩碼
11000000.10101000.00000000.00000000  網絡地址
192.168.0.0          計算出來後發現，局域網的全部電腦得出的結果都是同樣的。通常的家庭中的路由器鏈接的全部電子設備組成一個小型的局域網

子網掩碼的另外一種表示方式；因爲子網掩碼的固定，能夠在IP地址後用十進制24表示192.168.0.106 /24   表示192.168.0.106 /255.255.255.0

數據鏈路層 
.....head.....|.......data..........
mac源| mac目標|      數據部分

網絡層
以太網頭......|......ip 頭 .....|........ip數據..........
以太網頭......|源ip, 目標ip+掩碼|........ip數據..........


mac源| mac目標|源ip, 目標ip+掩碼|........ip數據..........


 ARP協議
 
 包：