python-01.網絡通訊基礎

一.操做系統基礎

  操做系統:(Operating System，簡稱OS)是管理和控制計算機硬件與軟件資源的計算機程序，是直接運行在「裸機」上的最基本的系統軟件，任何其餘軟件都必須在操做系統的支持下才能運行。

注：計算機(硬件)－>os－>應用軟件

二.網絡通訊原理

2.1 互聯網的本質就是一系列的網絡協議

一臺硬設有了操做系統，而後裝上軟件你就能夠正常使用了，然而你也只能本身使用

像這樣，每一個人都擁有一臺本身的機器，然而彼此孤立

如何能你們一塊兒玩耍

然而internet爲什麼物？

 

鏈接兩臺計算機之間的internet實際上就是一系列統一的標準，這些標準稱之爲互聯網協議，互聯網的本質就是一系列的協議，總稱爲‘互聯網協議’（Internet Protocol Suite).

互聯網協議的功能：定義計算機如何接入internet，以及接入internet的計算機通訊的標準。

2.2 osi七層協議

互聯網協議按照功能不一樣分爲osi七層或tcp/ip五層或tcp/ip四層

 

每層運行常見物理設備

 

2.3 tcp/ip五層模型講解

咱們將應用層，表示層，會話層並做應用層，從tcp／ip五層協議的角度來闡述每層的由來與功能，搞清楚了每層的主要協議

就理解了整個互聯網通訊的原理。

首先，用戶感知到的只是最上面一層應用層，自上而下每層都依賴於下一層，因此咱們從最下一層開始切入，比較好理解

每層都運行特定的協議，越往上越靠近用戶，越往下越靠近硬件

2.3.1 物理層

物理層由來：上面提到，孤立的計算機之間要想一塊兒玩，就必須接入internet，言外之意就是計算機之間必須完成組網

物理層功能：主要是基於電器特性發送高低電壓(電信號)，高電壓對應數字1，低電壓對應數字0

2.3.2 數據鏈路層

數據鏈路層由來：單純的電信號0和1沒有任何意義，必須規定電信號多少位一組，每組什麼意思

數據鏈路層的功能：定義了電信號的分組方式

以太網協議：

早期的時候各個公司都有本身的分組方式，後來造成了統一的標準，即以太網協議ethernet

ethernet規定

• 一組電信號構成一個數據包，叫作‘幀’
• 每一數據幀分紅：報頭head和數據data兩部分

head

data

 

head包含：(固定18個字節)

• 發送者／源地址，6個字節
• 接收者／目標地址，6個字節
• 數據類型，6個字節

data包含：(最短46字節，最長1500字節)

• 數據包的具體內容

head長度＋data長度＝最短64字節，最長1518字節，超過最大限制就分片發送

mac地址：

head中包含的源和目標地址由來：ethernet規定接入internet的設備都必須具有網卡，發送端和接收端的地址即是指網卡的地址，即mac地址

mac地址：每塊網卡出廠時都被燒製上一個世界惟一的mac地址，長度爲48位2進制，一般由12位16進制數表示（前六位是廠商編號，後六位是流水線號）

廣播：

有了mac地址，同一網絡內的兩臺主機就能夠通訊了（一臺主機經過arp協議獲取另一臺主機的mac地址）

ethernet採用最原始的方式，廣播的方式進行通訊，即計算機通訊基本靠吼

2.3.3 網絡層

網絡層由來：有了ethernet、mac地址、廣播的發送方式，世界上的計算機就能夠彼此通訊了，問題是世界範圍的互聯網是由

一個個彼此隔離的小的局域網組成的，那麼若是全部的通訊都採用以太網的廣播方式，那麼一臺機器發送的包全世界都會收到，

這就不只僅是效率低的問題了，這會是一種災難

上圖結論：必須找出一種方法來區分哪些計算機屬於同一廣播域，哪些不是，若是是就採用廣播的方式發送，若是不是，

就採用路由的方式（向不一樣廣播域／子網分發數據包），mac地址是沒法區分的，它只跟廠商有關

網絡層功能：引入一套新的地址用來區分不一樣的廣播域／子網，這套地址即網絡地址

IP協議：

• 規定網絡地址的協議叫ip協議，它定義的地址稱之爲ip地址，普遍採用的v4版本即ipv4，它規定網絡地址由32位2進製表示
• 範圍0.0.0.0-255.255.255.255
• 一個ip地址一般寫成四段十進制數，例：172.16.10.1

ip地址分紅兩部分

• 網絡部分：標識子網
• 主機部分：標識主機

注意：單純的ip地址段只是標識了ip地址的種類，從網絡部分或主機部分都沒法辨識一個ip所處的子網

例：172.16.10.1與172.16.10.2並不能肯定兩者處於同一子網

子網掩碼

所謂」子網掩碼」，就是表示子網絡特徵的一個參數。它在形式上等同於IP地址，也是一個32位二進制數字，它的網絡部分所有爲1，主機部分所有爲0。好比，IP地址172.16.10.1，若是已知網絡部分是前24位，主機部分是後8位，那麼子網絡掩碼就是11111111.11111111.11111111.00000000，寫成十進制就是255.255.255.0。

 

知道」子網掩碼」，咱們就能判斷，任意兩個IP地址是否處在同一個子網絡。方法是將兩個IP地址與子網掩碼分別進行AND運算（兩個數位都爲1，運算結果爲1，不然爲0），而後比較結果是否相同，若是是的話，就代表它們在同一個子網絡中，不然就不是。

 

好比，已知IP地址172.16.10.1和172.16.10.2的子網掩碼都是255.255.255.0，請問它們是否在同一個子網絡？二者與子網掩碼分別進行AND運算，

172.16.10.1：10101100.00010000.00001010.000000001

255255.255.255.0:11111111.11111111.11111111.00000000

AND運算得網絡地址結果：10101100.00010000.00001010.000000001->172.16.10.0

 

172.16.10.2：10101100.00010000.00001010.000000010

255255.255.255.0:11111111.11111111.11111111.00000000

AND運算得網絡地址結果：10101100.00010000.00001010.000000001->172.16.10.0

結果都是172.16.10.0，所以它們在同一個子網絡。

總結一下，IP協議的做用主要有兩個，一個是爲每一臺計算機分配IP地址，另外一個是肯定哪些地址在同一個子網絡。

ip數據包

ip數據包也分爲head和data部分，無須爲ip包定義單獨的欄位，直接放入以太網包的data部分

 

head：長度爲20到60字節

data：最長爲65,515字節。

而以太網數據包的」數據」部分，最長只有1500字節。所以，若是IP數據包超過了1500字節，它就須要分割成幾個以太網數據包，分開發送了。

 

以太網頭

ip 頭

ip數據

 

 

 ARP協議

arp協議由來：計算機通訊基本靠吼，即廣播的方式，全部上層的包到最後都要封裝上以太網頭，而後經過以太網協議發送，在談及以太網協議時候，我門瞭解到

通訊是基於mac的廣播方式實現，計算機在發包時，獲取自身的mac是容易的，如何獲取目標主機的mac，就須要經過arp協議

arp協議功能：廣播的方式發送數據包，獲取目標主機的mac地址

 

協議工做方式：每臺主機ip都是已知的

例如：主機172.16.10.10/24訪問172.16.10.11/24

一：首先經過ip地址和子網掩碼區分出本身所處的子網

場景	數據包地址
同一子網	目標主機mac，目標主機ip
不一樣子網	網關mac，目標主機ip

 

 

 

二：分析172.16.10.10/24與172.16.10.11/24處於同一網絡(若是不是同一網絡，那麼下表中目標ip爲172.16.10.1,經過arp獲取的是網關的mac)

	源mac	目標mac	源ip	目標ip	數據部分
發送端主機	發送端mac	FF:FF:FF:FF:FF:FF	172.16.10.10/24	172.16.10.11/24	數據

 

 

三：這個包會以廣播的方式在發送端所處的自網內傳輸，全部主機接收後拆開包，發現目標ip爲本身的，就響應，返回本身的mac

2.3.4 傳輸層

傳輸層的由來：網絡層的ip幫咱們區分子網，以太網層的mac幫咱們找到主機，而後你們使用的都是應用程序，你的電腦上可能同時開啓qq，暴風影音，等多個應用程序，

那麼咱們經過ip和mac找到了一臺特定的主機，如何標識這臺主機上的應用程序，答案就是端口，端口即應用程序與網卡關聯的編號。

傳輸層功能：創建端口到端口的通訊

補充：端口範圍0-65535，0-1023爲系統佔用端口

tcp協議：

可靠傳輸，TCP數據包沒有長度限制，理論上能夠無限長，可是爲了保證網絡的效率，一般TCP數據包的長度不會超過IP數據包的長度，以確保單個TCP數據包沒必要再分割。

以太網頭

ip 頭

tcp頭

數據

 

udp協議：

不可靠傳輸，」報頭」部分一共只有8個字節，總長度不超過65,535字節，正好放進一個IP數據包。

以太網頭

ip頭

udp頭

數據

 

 

tcp報文

 

 

tcp三次握手和四次揮手

序列號seq：佔4個字節，用來標記數據段的順序，TCP把鏈接中發送的全部數據字節都編上一個序號，第一個字節的編號由本地隨機產生；給字節編上序號後，就給每個報文段指派一個序號；序列號seq就是這個報文段中的第一個字節的數據編號。

    確認號ack：佔4個字節，期待收到對方下一個報文段的第一個數據字節的序號；序列號表示報文段攜帶數據的第一個字節的編號；而確認號指的是指望接收到下一個字節的編號；所以當前報文段最後一個字節的編號+1即爲確認號。

    確認ACK：佔1位，僅當ACK=1時，確認號字段纔有效。ACK=0時，確認號無效

    同步SYN：鏈接創建時用於同步序號。當SYN=1，ACK=0時表示：這是一個鏈接請求報文段。若贊成鏈接，則在響應報文段中使得SYN=1，ACK=1。所以，SYN=1表示這是一個鏈接請求，或鏈接接受報文。SYN這個標誌位只有在TCP建產鏈接時纔會被置1，握手完成後SYN標誌位被置0。

    終止FIN：用來釋放一個鏈接。FIN=1表示：此報文段的發送方的數據已經發送完畢，並要求釋放運輸鏈接

    PS：ACK、SYN和FIN這些大寫的單詞表示標誌位，其值要麼是1，要麼是0；ack、seq小寫的單詞表示序號。

　　

 

 

 

第一次握手：創建鏈接時，客戶端發送syn包（syn=j）到服務器，並進入SYN_SENT狀態，等待服務器確認；SYN：同步序列編號（Synchronize Sequence Numbers）。

第二次握手：服務器收到syn包，必須確認客戶的SYN（ack=j+1），同時本身也發送一個SYN包（syn=k），即SYN+ACK包，此時服務器進入SYN_RECV狀態；

第三次握手：客戶端收到服務器的SYN+ACK包，向服務器發送確認包ACK(ack=k+1），此包發送完畢，客戶端和服務器進入ESTABLISHED（TCP鏈接成功）狀態，完成三次握手。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

 

1）客戶端進程發出鏈接釋放報文，而且中止發送數據。釋放數據報文首部，FIN=1，其序列號爲seq=u（等於前面已經傳送過來的數據的最後一個字節的序號加1），此時，客戶端進入FIN-WAIT-1（終止等待1）狀態。 TCP規定，FIN報文段即便不攜帶數據，也要消耗一個序號。
2）服務器收到鏈接釋放報文，發出確認報文，ACK=1，ack=u+1，而且帶上本身的序列號seq=v，此時，服務端就進入了CLOSE-WAIT（關閉等待）狀態。TCP服務器通知高層的應用進程，客戶端向服務器的方向就釋放了，這時候處於半關閉狀態，即客戶端已經沒有數據要發送了，可是服務器若發送數據，客戶端依然要接受。這個狀態還要持續一段時間，也就是整個CLOSE-WAIT狀態持續的時間。
3）客戶端收到服務器的確認請求後，此時，客戶端就進入FIN-WAIT-2（終止等待2）狀態，等待服務器發送鏈接釋放報文（在這以前還須要接受服務器發送的最後的數據）。
4）服務器將最後的數據發送完畢後，就向客戶端發送鏈接釋放報文，FIN=1，ack=u+1，因爲在半關閉狀態，服務器極可能又發送了一些數據，假定此時的序列號爲seq=w，此時，服務器就進入了LAST-ACK（最後確認）狀態，等待客戶端的確認。
5）客戶端收到服務器的鏈接釋放報文後，必須發出確認，ACK=1，ack=w+1，而本身的序列號是seq=u+1，此時，客戶端就進入了TIME-WAIT（時間等待）狀態。注意此時TCP鏈接尚未釋放，必須通過2∗∗MSL（最長報文段壽命）的時間後，當客戶端撤銷相應的TCB後，才進入CLOSED狀態。
6）服務器只要收到了客戶端發出的確認，當即進入CLOSED狀態。一樣，撤銷TCB後，就結束了此次的TCP鏈接。能夠看到，服務器結束TCP鏈接的時間要比客戶端早一些。

 

 

2.3.5 應用層

應用層由來：用戶使用的都是應用程序，均工做於應用層，互聯網是開發的，你們均可以開發本身的應用程序，數據多種多樣，必須規定好數據的組織形式 

應用層功能：規定應用程序的數據格式。

例：TCP協議能夠爲各類各樣的程序傳遞數據，好比Email、WWW、FTP等等。那麼，必須有不一樣協議規定電子郵件、網頁、FTP數據的格式，這些應用程序協議就構成了」應用層」。

 

2.3.6 socket

咱們知道兩個進程若是須要進行通信最基本的一個前提能可以惟一的標示一個進程，在本地進程通信中咱們可使用PID來惟一標示一個進程，但PID只在本地惟一，網絡中的兩個進程PID衝突概率很大，這時候咱們須要另闢它徑了，咱們知道IP層的ip地址能夠惟一標示主機，而TCP層協議和端口號能夠惟一標示主機的一個進程，這樣咱們能夠利用ip地址＋協議＋端口號惟一標示網絡中的一個進程。

可以惟一標示網絡中的進程後，它們就能夠利用socket進行通訊了，什麼是socket呢？咱們常常把socket翻譯爲套接字，socket是在應用層和傳輸層之間的一個抽象層，它把TCP/IP層複雜的操做抽象爲幾個簡單的接口供應用層調用已實現進程在網絡中通訊。

socket起源於UNIX，在Unix一切皆文件哲學的思想下，socket是一種"打開—讀/寫—關閉"模式的實現，服務器和客戶端各自維護一個"文件"，在創建鏈接打開後，能夠向本身文件寫入內容供對方讀取或者讀取對方內容，通信結束時關閉文件。

三.網絡通訊實現

想實現網絡通訊，每臺主機需具有四要素

• 本機的IP地址
• 子網掩碼
• 網關的IP地址
• DNS的IP地址

獲取這四要素分兩種方式

1.靜態獲取

即手動配置

2.動態獲取

經過dhcp獲取

以太網頭

ip頭

udp頭

dhcp數據包

 

（1）最前面的」以太網標頭」，設置發出方（本機）的MAC地址和接收方（DHCP服務器）的MAC地址。前者就是本機網卡的MAC地址，後者這時不知道，就填入一個廣播地址：FF-FF-FF-FF-FF-FF。

 

（2）後面的」IP標頭」，設置發出方的IP地址和接收方的IP地址。這時，對於這二者，本機都不知道。因而，發出方的IP地址就設爲0.0.0.0，接收方的IP地址設爲255.255.255.255。

 

（3）最後的」UDP標頭」，設置發出方的端口和接收方的端口。這一部分是DHCP協議規定好的，發出方是68端口，接收方是67端口。

 

這個數據包構造完成後，就能夠發出了。以太網是廣播發送，同一個子網絡的每臺計算機都收到了這個包。由於接收方的MAC地址是FF-FF-FF-FF-FF-FF，看不出是發給誰的，因此每臺收到這個包的計算機，還必須分析這個包的IP地址，才能肯定是否是發給本身的。當看到發出方IP地址是0.0.0.0，接收方是255.255.255.255，因而DHCP服務器知道」這個包是發給個人」，而其餘計算機就能夠丟棄這個包。

 

接下來，DHCP服務器讀出這個包的數據內容，分配好IP地址，發送回去一個」DHCP響應」數據包。這個響應包的結構也是相似的，以太網標頭的MAC地址是雙方的網卡地址，IP標頭的IP地址是DHCP服務器的IP地址（發出方）和255.255.255.255（接收方），UDP標頭的端口是67（發出方）和68（接收方），分配給請求端的IP地址和本網絡的具體參數則包含在Data部分。

 

新加入的計算機收到這個響應包，因而就知道了本身的IP地址、子網掩碼、網關地址、DNS服務器等等參數

 

 

四.網絡通訊流程

1.本機獲取

• 本機的IP地址：192.168.1.100
• 子網掩碼：255.255.255.0
• 網關的IP地址：192.168.1.1
• DNS的IP地址：8.8.8.8

2.打開瀏覽器，想要訪問Google，在地址欄輸入了網址：www.google.com。

3.dns協議(基於udp協議)

 

13臺根dns：

A.root-servers.net198.41.0.4美國
B.root-servers.net192.228.79.201美國（另支持IPv6）
C.root-servers.net192.33.4.12法國
D.root-servers.net128.8.10.90美國
E.root-servers.net192.203.230.10美國
F.root-servers.net192.5.5.241美國（另支持IPv6）
G.root-servers.net192.112.36.4美國
H.root-servers.net128.63.2.53美國（另支持IPv6）
I.root-servers.net192.36.148.17瑞典
J.root-servers.net192.58.128.30美國
K.root-servers.net193.0.14.129英國（另支持IPv6）
L.root-servers.net198.32.64.12美國
M.root-servers.net202.12.27.33日本（另支持IPv6）

 

域名定義：http://jingyan.baidu.com/article/1974b289a649daf4b1f774cb.html

頂級域名：以.com,.net,.org,.cn等等屬於國際頂級域名，根據目前的國際互聯網域名體系，國際頂級域名分爲兩類：類別頂級域名(gTLD)和地理頂級域名(ccTLD)兩種。類別頂級域名是　　　　　　　　            以"COM"、"NET"、"ORG"、"BIZ"、"INFO"等結尾的域名，均由國外公司負責管理。地理頂級域名是以國家或地區代碼爲結尾的域名，如"CN"表明中國，"UK"表明英國。地理頂級域名通常由各個國家或地區負責管理。

二級域名：二級域名是以頂級域名爲基礎的地理域名，比喻中國的二級域有，.com.cn,.net.cn,.org.cn,.gd.cn等.子域名是其父域名的子域名，比喻父域名是abc.com,子域名就是www.abc.com或者*.abc.com.
通常來講，二級域名是域名的一條記錄，好比alidiedie.com是一個域名，www.alidiedie.com是其中比較經常使用的記錄，通常默認是用這個，可是相似*.alidiedie.com的域名所有稱做是alidiedie.com的二級

 

 

4.HTTP部分的內容，相似於下面這樣：

 

GET / HTTP/1.1
Host: www.google.com
Connection: keep-alive
User-Agent: Mozilla/5.0 (Windows NT 6.1) ……
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding: gzip,deflate,sdch
Accept-Language: zh-CN,zh;q=0.8
Accept-Charset: GBK,utf-8;q=0.7,*;q=0.3
Cookie: … …

 

咱們假定這個部分的長度爲4960字節，它會被嵌在TCP數據包之中。

 

5 TCP協議

 

TCP數據包須要設置端口，接收方（Google）的HTTP端口默認是80，發送方（本機）的端口是一個隨機生成的1024-65535之間的整數，假定爲51775。

TCP數據包的標頭長度爲20字節，加上嵌入HTTP的數據包，總長度變爲4980字節。

 

6 IP協議

 

而後，TCP數據包再嵌入IP數據包。IP數據包須要設置雙方的IP地址，這是已知的，發送方是192.168.1.100（本機），接收方是172.194.72.105（Google）。

IP數據包的標頭長度爲20字節，加上嵌入的TCP數據包，總長度變爲5000字節。

 

7 以太網協議

 

最後，IP數據包嵌入以太網數據包。以太網數據包須要設置雙方的MAC地址，發送方爲本機的網卡MAC地址，接收方爲網關192.168.1.1的MAC地址（經過ARP協議獲得）。

以太網數據包的數據部分，最大長度爲1500字節，而如今的IP數據包長度爲5000字節。所以，IP數據包必須分割成四個包。由於每一個包都有本身的IP標頭（20字節），因此四個包的IP數據包的長度分別爲1500、1500、1500、560。

 

 

8 服務器端響應

 

通過多個網關的轉發，Google的服務器172.194.72.105，收到了這四個以太網數據包。

根據IP標頭的序號，Google將四個包拼起來，取出完整的TCP數據包，而後讀出裏面的」HTTP請求」，接着作出」HTTP響應」，再用TCP協議發回來。

本機收到HTTP響應之後，就能夠將網頁顯示出來，完成一次網絡通訊。

 

 

 

總結：

　　數據包的發送：pc1=>pc2

　　1.驗證兩臺計算機是否在同一子網（廣播域）下

　　　　利用ip與子網掩碼作AND運算得出

　　2.若是在同一子網下

　　　　a.獲取目標mac地址

　　　　b.發送兩臺計算機間進行廣播式通訊

　　　　　　pc1/mac　　pc2/mac　　pc1/ip　　pc2/ip　　data

　　　　　　　　注：當pc2的mac地址爲FFFFFFFFF，表示獲取目標ip表示主機的mac地址（網絡層ARP協議）

　　3.若是不在同一子網下（兩個子網網關間進行通訊）

　　　　pc1委託其所在子網的網關，與目標ip所在子網網關進行通訊，兩個網關間搭建路由，執行通訊

　　　　發送數據包：

　　　　1.arp;　　pc1/mac　　FFFFFFFFFFFF　　pc1/ip　　pc1(網關)/ip　　data

　　　　2.　　　　pc1/mac　　pc1(網關)/mac　　pc1/ip　　pc2/ip　　data

　　　　先發送獲取數據包到自身所在子網的網關（造成委託關係），而後以此網關mac去作通訊