python 之網絡編程（基於TCP協議Socket通訊的粘包問題及解決）

8.4 粘包問題

粘包問題發生的緣由：

1.發送端須要等緩衝區滿才發送出去，形成粘包(發送數據時間間隔很短,數據了很小,會合到一塊兒,產生粘包),這樣接收端，就難於分辨出來了，必須提供科學的拆包機制。 即面向流的通訊是無消息保護邊界的。

2.接收方不及時接收緩衝區的包，形成多個包接收（客戶端發送了一段數據，服務端只收了一小部分，服務端下次再收的時候仍是從緩衝區拿上次遺留的數據，產生粘包）

粘包問題主要仍是由於接收方不知道消息之間的界限，不知道一次性提取多少字節的數據所形成的。

8.41 stract模塊

一、把整型數字轉成bytes類型 二、轉成的bytes是固定長度的

import struct
​
res=struct.pack('i',20332)    # i:整型 
print(res,len(res))          # b'lO\x00\x00'   4
​
res2=struct.unpack('i',res)
print(res2[0])              # 20332

8.42 利用stract模塊解決粘包

爲字節流加上自定義固定長度報頭，報頭中包含字節流長度，而後一次send到對端，對端在接收時，先從緩存中取出定長的報頭（報頭中含有真實數據長度），而後再取真實數據

服務端：

from socket import *
import subprocess
import struct
........
while True:
    conn,client_addr=server.accept() #(鏈接對象，客戶端的ip和端口)
    print(client_addr)
    while True:
        try:
            cmd=conn.recv(1024)
            obj=subprocess.Popen(cmd.decode('utf-8'),# dir
                                 shell=True,
                                 stdout=subprocess.PIPE,
                                 stderr=subprocess.PIPE
                                 )
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
​
            total_size=len(stdout) + len(stderr)# 一、製做固定長度的報頭 # 430
            header=struct.pack('i',total_size) 
​
            conn.send(header)                  # 二、發送報頭
​
            conn.send(stdout)                  #三、發送真實的數據
            conn.send(stderr)                  #subprocess返回byte類型，但須要gbk解碼
        except ConnectionResetError:
            break
​
    conn.close()
server.close()

客戶端：

from socket import *
import struct
..........
while True:
    cmd=input('>>>: ').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))          # dir
​
    header=client.recv(4)                    #一、先收固定長度的報頭
​
    total_size=struct.unpack('i',header)[0]    #二、解析報頭
    print(total_size)                        # 430
   
    recv_size=0                             #三、根據報頭內的信息，收取真實的數據
    res=b''
    while recv_size < total_size:
        recv_data=client.recv(1024)
        res+=recv_data
        recv_size+=len(recv_data)
    print(res.decode('gbk'))
client.close()

8.43 自定義報頭

咱們能夠把報頭作成字典，字典裏包含將要發送的真實數據的詳細信息，字典而後json序列化，編碼成byte類型，而後用struck將數據長度打包成4個字節（4個本身足夠用了）

發送時：

先發報頭長度，再編碼報頭內容而後發送，最後發真實內容

接收時：先收報頭長度，用struct取出來，根據取出的長度收取報頭內容，而後解碼，反序列化，從反序列化的結果中取出待取數據的詳細信息，而後去取真實的數據內容

服務端：

from socket import *
import subprocess
import struct
import json
...........
while True:
    conn,client_addr=server.accept() #(鏈接對象，客戶端的ip和端口)
    print(client_addr)
    while True:
        try:
            cmd=conn.recv(1024)
            obj=subprocess.Popen(cmd.decode('utf-8'),
                                 shell=True,
                                 stdout=subprocess.PIPE,
                                 stderr=subprocess.PIPE
                                 )
            stdout=obj.stdout.read()
            stderr=obj.stderr.read()
​
            header_dic={                            # 一、製做報頭
                'total_size':len(stdout) + len(stderr),
                'md5':'123svsaef123sdfasdf',
                'filename':'a.txt'
            }
            header_json = json.dumps(header_dic)
            header_bytes = header_json.encode('utf-8')
​
            header_size=len(header_bytes)             # 二、先發送報頭的長度
            conn.send(struct.pack('i',header_size))
​
            conn.send(header_bytes)                  # 三、發送報頭
​
            conn.send(stdout)                        # 四、發送真實的數據
            conn.send(stderr)
        except ConnectionResetError:
            break
    conn.close()
server.close()

客戶端：

from socket import *
import struct
import json
.........
while True:
    cmd=input('>>>: ').strip()
    if not cmd:continue
    client.send(cmd.encode('utf-8'))
    
    header_size=struct.unpack('i',client.recv(4))[0]     #一、先收報頭的長度
    header_bytes=client.recv(header_size)               #二、接收報頭
​
    header_json=header_bytes.decode('utf-8')            #三、解析報頭
    header_dic=json.loads(header_json)
    print(header_dic)
​
    total_size=header_dic[ 'total_size']                #四、根據報頭內的信息，收取真實的數據
    # print(total_size)     #1025
    
    recv_size=0
    res=b''
    while recv_size < total_size:
         recv_data=client.recv(1024)
         res+=recv_data
         recv_size+=len(recv_data)
​
    print(res.decode('gbk'))
client.close()

客戶端實現等待後重連：

import socket
import time
​
while True:
    try:
        client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
​
        client.connect(('127.0.0.1',8080))
        break
    except ConnectionRefusedError:
        time.sleep(3)
        print('等待3秒。。。')