Python全棧開發【Socket網絡編程】

時間 2019-11-29

標籤 python 開發 Socket網絡編程欄目 Python 简体版

原文原文鏈接

Python全棧【socket網絡編程】

本章內容：python

Socket
基於TCP的套接字
基於UDP的套接字
TCP粘包
SocketServer 模塊（ThreadingTCPServer源碼剖析）

Socketshell

一、socket一般也稱做"套接字"編程

用於描述IP地址和端口，是一個通訊鏈的句柄，應用程序一般經過"套接字"向網絡發出請求或者應答網絡請求。設計模式

socket起源於Unix，而Unix/Linux基本哲學之一就是「一切皆文件」，對於文件用【打開】【讀寫】【關閉】模式來操做。socket就是該模式的一個實現，socket便是一種特殊的文件，一些socket函數就是對其進行的操做（讀/寫IO、打開、關閉）服務器

socket和file的區別：網絡

file模塊是針對某個指定文件進行【打開】【讀寫】【關閉】
socket模塊是針對服務器端和客戶端Socket 進行【打開】【讀寫】【關閉】

爲什麼學習socket必定要先學習互聯網協議：架構

1.首先：本節課程的目標就是教會你如何基於socket編程，來開發一款本身的C/S架構軟件socket

2.其次：C/S架構的軟件（軟件屬於應用層）是基於網絡進行通訊的tcp

3.而後：網絡的核心即一堆協議，協議即標準，你想開發一款基於網絡通訊的軟件，就必須遵循這些標準。ide

二、socket層

Socket是應用層與TCP/IP協議族通訊的中間軟件抽象層，它是一組接口。在設計模式中，Socket其實就是一個門面模式，它把複雜的TCP/IP協議族隱藏在Socket接口後面，對用戶來講，一組簡單的接口就是所有，讓Socket去組織數據，以符合指定的協議。

因此，咱們無需深刻理解tcp/udp協議，socket已經爲咱們封裝好了，咱們只須要遵循socket的規定去編程，寫出的程序天然就是遵循tcp/udp標準的。

三、套接字有兩種（或者稱爲有兩個種族）,分別是基於文件型的和基於網絡型的。

1）基於文件類型的套接字家族

套接字家族的名字：AF_UNIX

unix一切皆文件，基於文件的套接字調用的就是底層的文件系統來取數據，兩個套接字進程運行在同一機器，能夠經過訪問同一個文件系統間接完成通訊

2）基於網絡類型的套接字家族

套接字家族的名字：AF_INET

(還有AF_INET6被用於ipv6，還有一些其餘的地址家族，不過，他們要麼是隻用於某個平臺，要麼就是已經被廢棄，或者是不多被使用，或者是根本沒有實現，全部地址家族中，AF_INET是使用最普遍的一個，python支持不少種地址家族，可是因爲咱們只關心網絡編程，因此大部分時候我麼只使用AF_INET)

四、套接字工做流程

服務器端先初始化Socket，而後與端口綁定(bind)，對端口進行監聽(listen)，調用accept阻塞，等待客戶端鏈接。在這時若是有個客戶端初始化一個Socket，而後鏈接服務器(connect)，若是鏈接成功，這時客戶端與服務器端的鏈接就創建了。客戶端發送數據請求，服務器端接收請求並處理請求，而後把迴應數據發送給客戶端，客戶端讀取數據，最後關閉鏈接，一次交互結束。

★★★★★★TCP套接字工做流程（牢記）

複習三次握手與四次揮手

socket類

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0) 參數一：地址簇 　　socket.AF_INET IPv4（默認） 　　socket.AF_INET6 IPv6 　　socket.AF_UNIX 只可以用於單一的Unix系統進程間通訊 參數二：類型 　　socket.SOCK_STREAM　　流式socket , for TCP （默認） 　　socket.SOCK_DGRAM　　 數據報式socket , for UDP 參數三：協議 　　0　　（默認）與特定的地址家族相關的協議,若是是 0 ，則系統就會根據地址格式和套接類別,自動選擇一個合適的協議 sk.bind(address) 　　s.bind(address) 將套接字綁定到地址。address地址的格式取決於地址族。在AF_INET下，以元組（host,port）的形式表示地址。 sk.listen(backlog) 　　開始監聽傳入鏈接。backlog指定在拒絕鏈接以前，能夠掛起的最大鏈接數量。 backlog等於5，表示內核已經接到了鏈接請求，但服務器尚未調用accept進行處理的鏈接個數最大爲5 這個值不能無限大，由於要在內核中維護鏈接隊列 sk.setblocking(bool) 　　是否阻塞（默認True），若是設置False，那麼accept和recv時一旦無數據，則報錯。 sk.accept() 　　接受鏈接並返回（conn,address）,其中conn是新的套接字對象，能夠用來接收和發送數據。address是鏈接客戶端的地址。 　　接收TCP 客戶的鏈接（阻塞式）等待鏈接的到來 sk.connect(address) 　　鏈接到address處的套接字。通常，address的格式爲元組（hostname,port）,若是鏈接出錯，返回socket.error錯誤。 sk.connect_ex(address) 　　同上，只不過會有返回值，鏈接成功時返回 0 ，鏈接失敗時候返回編碼，例如：10061 sk.close() 　　關閉套接字 sk.recv(bufsize[,flag]) 　　接受套接字的數據。數據以字符串形式返回，bufsize指定最多能夠接收的數量。flag提供有關消息的其餘信息，一般能夠忽略。 sk.recvfrom(bufsize[.flag]) 　　與recv()相似，但返回值是（data,address）。其中data是包含接收數據的字符串，address是發送數據的套接字地址。 sk.send(string[,flag]) 　　將string中的數據發送到鏈接的套接字。返回值是要發送的字節數量，該數量可能小於string的字節大小。即：可能未將指定內容所有發送。 sk.sendall(string[,flag]) 　　將string中的數據發送到鏈接的套接字，但在返回以前會嘗試發送全部數據。成功返回None，失敗則拋出異常。 內部經過遞歸調用send，將全部內容發送出去。 sk.sendto(string[,flag],address) 　　將數據發送到套接字，address是形式爲（ipaddr，port）的元組，指定遠程地址。返回值是發送的字節數。該函數主要用於UDP協議。 sk.settimeout(timeout) 　　設置套接字操做的超時期，timeout是一個浮點數，單位是秒。值爲None表示沒有超時期。通常，超時期應該在剛建立套接字時設置，由於它們可能用於鏈接的操做（如 client 鏈接最多等待5s ） sk.getpeername() 　　返回鏈接套接字的遠程地址。返回值一般是元組（ipaddr,port）。 sk.getsockname() 　　返回套接字本身的地址。一般是一個元組(ipaddr,port) sk.fileno() 　　套接字的文件描述符

基於TCP的套接字

舉例學習：模擬FTP文件上傳及斷點續傳

 1 #tcp_server.py
 2 from socket import *
 3 
 4 ip_port = ('127.0.0.1',8000)
 5 buffer_size = 1024
 6 back_log = 5
 7 
 8 server = socket(AF_INET,SOCK_STREAM)
 9 server.bind(ip_port)
10 server.listen(back_log)
11 
12 conn,addr = server.accept()
13 
14 f_size = int(str(conn.recv(buffer_size).decode('utf-8')))
15 conn.send(bytes(str(f_size).encode('utf-8')))
16 recv_size=0
17 with open('2.txt', 'wb') as f:
18     while True:
19         if recv_size ==f_size:
20             break
21         else:
22             recv_msg = conn.recv(buffer_size)
23             f.write(recv_msg)
24             recv_size += len(recv_msg)

 1 #tcp_client.py
 2 from socket import *
 3 import os
 4 ip_port = ('127.0.0.1',8000)
 5 buffer_size = 1024
 6 back_log = 5
 7 
 8 client = socket(AF_INET,SOCK_STREAM)
 9 client.connect(ip_port)
10 
11 file_size=os.stat('1.txt').st_size
12 client.send(str(file_size).encode('utf-8')) #先發送文件大小，解決粘包問題
13 msg = client.recv(buffer_size)
14 
15 have_rec = 0
16 if int(str(msg.decode('utf-8'))) ==file_size:
17     with open('1.txt', 'rb') as f:
18         for line in f:
19             client.send(line)
20             have_rec+=len(line)
21             print('模擬斷點出現')
22             break  # 模擬出現斷點的狀況再續傳
23     with open('1.txt', 'rb') as f:
24         f.seek(have_rec) # 文件指針指到已經上傳完成的部分
25         for line in f:
26             client.send(line)

有時重啓服務端時會出現：

解決方法：

#加入一條socket配置，重用ip和端口

ss=socket(AF_INET,SOCK_STREAM)
ss.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) #在bind前加setsockopt
ss.bind(('127.0.0.1',8000))

基於UDP的套接字

服務端

 1 from socket import *
 2 import time
 3 ip_port=('127.0.0.1',9000)
 4 BUFSIZE=1024
 5 udp_server=socket(AF_INET,SOCK_DGRAM)  #面向信息
 6 #UDP無鏈接，因此能夠同時多個客戶端去跟服務端通訊
 7 udp_server.bind(ip_port) #須要綁定地址與端口號
 8 
 9 while True:
10     msg,addr=udp_server.recvfrom(BUFSIZE)
11     print(msg.decode('utf-8'),addr)   #hello ('127.0.0.1', 49448)
12     if not msg:
13         fmt ='%Y-%m-%d %X'
14     else:
15         fmt ='%Y:%m:%d %X'
16     back_time = time.strftime(fmt)
17     udp_server.sendto(back_time.encode('utf-8'),addr) #發送信息時須要後面帶目的地址信息

客戶端

 1 from socket import *
 2 ip_port=('127.0.0.1',9000)
 3 BUFSIZE=1024
 4 udp_client=socket(AF_INET,SOCK_DGRAM)
 5 
 6 while True:
 7     msg=input('>>: ').strip()
 8     if not msg:continue
 9 
10     udp_client.sendto(msg.encode('utf-8'),ip_port) #發送帶服務端地址信息
11 
12     back_msg,addr=udp_client.recvfrom(BUFSIZE)
13     print(back_msg.decode('utf-8'))   #2017:01:03 09:24:48

UDP模擬Win下cmd命令（會丟包）

from socket import *
import subprocess
ip_port = ('127.0.0.1',8000)
back_log = 5
buffer_size = 1024

udp_server = socket(AF_INET,SOCK_DGRAM)
udp_server.bind(ip_port)

while True:
    cmd,addr = udp_server.recvfrom(buffer_size)
    print('新的客戶端連接',addr)

    print('收到客戶的命令是',cmd.decode('utf-8'))
    res = subprocess.Popen(cmd.decode('utf-8'),shell=True,
                           stderr = subprocess.PIPE,
                           stdout = subprocess.PIPE,
                           stdin = subprocess.PIPE)
    err = res.stderr.read()
    if err:
        cmd_res =err
    else:
        cmd_res = res.stdout.read()
    udp_server.sendto(cmd_res,addr)

server

from socket import *

ip_port = ('127.0.0.1',8000)
back_log = 5
buffer_size = 1024

udp_client = socket(AF_INET,SOCK_DGRAM)

while True:
    cmd =input('>>>').strip()
    if not cmd:continue
    if cmd =='quit':break

    udp_client.sendto(cmd.encode('utf-8'),ip_port)
    cmd_res,addr = udp_client.recvfrom(buffer_size)
    print('命令執行的結果是',cmd_res.decode('gbk'))
udp_client.close()