Python之路【第六篇】：socket

Socket

socket一般也稱做"套接字"，用於描述IP地址和端口，是一個通訊鏈的句柄，應用程序一般經過"套接字"向網絡發出請求或者應答網絡請求。

socket起源於Unix，而Unix/Linux基本哲學之一就是「一切皆文件」，對於文件用【打開】【讀寫】【關閉】模式來操做。socket就是該模式的一個實現，socket便是一種特殊的文件，一些socket函數就是對其進行的操做（讀/寫IO、打開、關閉）

socket和file的區別：

• file模塊是針對某個指定文件進行【打開】【讀寫】【關閉】
• socket模塊是針對 服務器端 和 客戶端Socket 進行【打開】【讀寫】【關閉】

 

  socket server

  socket client

sk.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)

WEB服務應用：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

#!/usr/bin/env python #coding:utf-8 import  socket   def  handle_request(client):      buf  =  client.recv( 1024 )      client.send( "HTTP/1.1 200 OK\r\n\r\n" )      client.send( "Hello, World" )   def  main():      sock  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)      sock.bind(( 'localhost' , 8080 ))      sock.listen( 5 )        while  True :          connection, address  =  sock.accept()          handle_request(connection)          connection.close()   if  __name__  = =  '__main__' :    main()

更多功能

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)

參數一：地址簇

　　socket.AF_INET IPv4（默認）
　　socket.AF_INET6 IPv6

　　socket.AF_UNIX 只可以用於單一的Unix系統進程間通訊

參數二：類型

　　socket.SOCK_STREAM　　流式socket , for TCP （默認）
　　socket.SOCK_DGRAM　　 數據報式socket , for UDP

　　socket.SOCK_RAW 原始套接字，普通的套接字沒法處理ICMP、IGMP等網絡報文，而SOCK_RAW能夠；其次，SOCK_RAW也能夠處理特殊的IPv4報文；此外，利用原始套接字，能夠經過IP_HDRINCL套接字選項由用戶構造IP頭。
　　socket.SOCK_RDM 是一種可靠的UDP形式，即保證交付數據報但不保證順序。SOCK_RAM用來提供對原始協議的低級訪問，在須要執行某些特殊操做時使用，如發送ICMP報文。SOCK_RAM一般僅限於高級用戶或管理員運行的程序使用。
　　socket.SOCK_SEQPACKET 可靠的連續數據包服務

參數三：協議

　　0　　（默認）與特定的地址家族相關的協議,若是是 0 ，則系統就會根據地址格式和套接類別,自動選擇一個合適的協議

  UDP Demo

sk.bind(address)

　　s.bind(address) 將套接字綁定到地址。address地址的格式取決於地址族。在AF_INET下，以元組（host,port）的形式表示地址。

sk.listen(backlog)

　　開始監聽傳入鏈接。backlog指定在拒絕鏈接以前，能夠掛起的最大鏈接數量。

      backlog等於5，表示內核已經接到了鏈接請求，但服務器尚未調用accept進行處理的鏈接個數最大爲5
      這個值不能無限大，由於要在內核中維護鏈接隊列

sk.setblocking(bool)

　　是否阻塞（默認True），若是設置False，那麼accept和recv時一旦無數據，則報錯。

sk.accept()

　　接受鏈接並返回（conn,address）,其中conn是新的套接字對象，能夠用來接收和發送數據。address是鏈接客戶端的地址。

　　接收TCP 客戶的鏈接（阻塞式）等待鏈接的到來

sk.connect(address)

　　鏈接到address處的套接字。通常，address的格式爲元組（hostname,port）,若是鏈接出錯，返回socket.error錯誤。

sk.connect_ex(address)

　　同上，只不過會有返回值，鏈接成功時返回 0 ，鏈接失敗時候返回編碼，例如：10061

sk.close()

　　關閉套接字

sk.recv(bufsize[,flag])

　　接受套接字的數據。數據以字符串形式返回，bufsize指定最多能夠接收的數量。flag提供有關消息的其餘信息，一般能夠忽略。

sk.recvfrom(bufsize[.flag])

　　與recv()相似，但返回值是（data,address）。其中data是包含接收數據的字符串，address是發送數據的套接字地址。

sk.send(string[,flag])

　　將string中的數據發送到鏈接的套接字。返回值是要發送的字節數量，該數量可能小於string的字節大小。即：可能未將指定內容所有發送。

sk.sendall(string[,flag])

　　將string中的數據發送到鏈接的套接字，但在返回以前會嘗試發送全部數據。成功返回None，失敗則拋出異常。

      內部經過遞歸調用send，將全部內容發送出去。

sk.sendto(string[,flag],address)

　　將數據發送到套接字，address是形式爲（ipaddr，port）的元組，指定遠程地址。返回值是發送的字節數。該函數主要用於UDP協議。

sk.settimeout(timeout)

　　設置套接字操做的超時期，timeout是一個浮點數，單位是秒。值爲None表示沒有超時期。通常，超時期應該在剛建立套接字時設置，由於它們可能用於鏈接的操做（如 client 鏈接最多等待5s ）

sk.getpeername()

　　返回鏈接套接字的遠程地址。返回值一般是元組（ipaddr,port）。

sk.getsockname()

　　返回套接字本身的地址。一般是一個元組(ipaddr,port)

sk.fileno()

　　套接字的文件描述符

  UDP

實例：智能機器人

  服務端

  客戶端

IO多路複用

I/O多路複用指：經過一種機制，能夠監視多個描述符，一旦某個描述符就緒（通常是讀就緒或者寫就緒），可以通知程序進行相應的讀寫操做。

Linux

Linux中的 select，poll，epoll 都是IO多路複用的機制。

+ View Code

Python

Python中有一個select模塊，其中提供了：select、poll、epoll三個方法，分別調用系統的 select，poll，epoll 從而實現IO多路複用。

1 2 3 4 5 6

Windows Python：      提供： select Mac Python：      提供： select Linux Python：      提供： select、poll、epoll

注意：網絡操做、文件操做、終端操做等均屬於IO操做，對於windows只支持Socket操做，其餘系統支持其餘IO操做，可是沒法檢測 普通文件操做 自動上次讀取是否已經變化。

對於select方法：

1 2 3 4 5 6 7 8 9 10 11

句柄列表 11 , 句柄列表 22 , 句柄列表 33  =  select.select(句柄序列 1 , 句柄序列 2 , 句柄序列 3 , 超時時間)   參數： 可接受四個參數（前三個必須） 返回值：三個列表   select方法用來監視文件句柄，若是句柄發生變化，則獲取該句柄。 1 、當 參數 1  序列中的句柄發生可讀時（accetp和read），則獲取發生變化的句柄並添加到 返回值 1  序列中 2 、當 參數 2  序列中含有句柄時，則將該序列中全部的句柄添加到 返回值 2  序列中 3 、當 參數 3  序列中的句柄發生錯誤時，則將該發生錯誤的句柄添加到 返回值 3  序列中 4 、當 超時時間 未設置，則select會一直阻塞，直到監聽的句柄發生變化     當 超時時間 ＝  1 時，那麼若是監聽的句柄均無任何變化，則select會阻塞  1  秒，以後返回三個空列表，若是監聽的句柄有變化，則直接執行。

  利用select監聽終端操做實例

  利用select實現僞同時處理多個Socket客戶端請求：服務端

  利用select實現僞同時處理多個Socket客戶端請求：客戶端

此處的Socket服務端相比與原生的Socket，他支持當某一個請求再也不發送數據時，服務器端不會等待而是能夠去處理其餘請求的數據。可是，若是每一個請求的耗時比較長時，select版本的服務器端也沒法完成同時操做。

  基於select實現socket服務端

SocketServer模塊

SocketServer內部使用 IO多路複用 以及 「多線程」 和 「多進程」 ，從而實現併發處理多個客戶端請求的Socket服務端。即：每一個客戶端請求鏈接到服務器時，Socket服務端都會在服務器是建立一個「線程」或者「進程」 專門負責處理當前客戶端的全部請求。

ThreadingTCPServer

ThreadingTCPServer實現的Soket服務器內部會爲每一個client建立一個 「線程」，該線程用來和客戶端進行交互。

一、ThreadingTCPServer基礎

使用ThreadingTCPServer:

• 建立一個繼承自 SocketServer.BaseRequestHandler 的類
• 類中必須定義一個名稱爲 handle 的方法
• 啓動ThreadingTCPServer

  SocketServer實現服務器

  客戶端

二、ThreadingTCPServer源碼剖析

ThreadingTCPServer的類圖關係以下：

 

內部調用流程爲：

• 啓動服務端程序
• 執行 TCPServer.__init__ 方法，建立服務端Socket對象並綁定 IP 和 端口
• 執行 BaseServer.__init__ 方法，將自定義的繼承自SocketServer.BaseRequestHandler 的類 MyRequestHandle賦值給self.RequestHandlerClass
• 執行 BaseServer.server_forever 方法，While 循環一直監聽是否有客戶端請求到達 ...
• 當客戶端鏈接到達服務器
• 執行 ThreadingMixIn.process_request 方法，建立一個 「線程」 用來處理請求
• 執行 ThreadingMixIn.process_request_thread 方法
• 執行 BaseServer.finish_request 方法，執行 self.RequestHandlerClass()  即：執行 自定義 MyRequestHandler 的構造方法（自動調用基類BaseRequestHandler的構造方法，在該構造方法中又會調用 MyRequestHandler的handle方法）

ThreadingTCPServer相關源碼：

  BaseServer

  TCPServer

  ThreadingMixIn

  ThreadingTCPServer

RequestHandler相關源碼

  SocketServer.BaseRequestHandler

實例：

  服務端

  客戶端

源碼精簡：

import socket
import threading
import select


def process(request, client_address):
    print request,client_address
    conn = request
    conn.sendall('歡迎致電 10086，請輸入1xxx,0轉人工服務.')
    flag = True
    while flag:
        data = conn.recv(1024)
        if data == 'exit':
            flag = False
        elif data == '0':
            conn.sendall('經過可能會被錄音.balabala一大推')
        else:
            conn.sendall('請從新輸入.')

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.bind(('127.0.0.1',8002))
sk.listen(5)

while True:
    r, w, e = select.select([sk,],[],[],1)
    print 'looping'
    if sk in r:
        print 'get request'
        request, client_address = sk.accept()
        t = threading.Thread(target=process, args=(request, client_address))
        t.daemon = False
        t.start()

sk.close()

如精簡代碼能夠看出，SocketServer的ThreadingTCPServer之因此能夠同時處理請求得益於 select 和 Threading 兩個東西，其實本質上就是在服務器端爲每個客戶端建立一個線程，當前線程用來處理對應客戶端的請求，因此，能夠支持同時n個客戶端連接（長鏈接）。

ForkingTCPServer

ForkingTCPServer和ThreadingTCPServer的使用和執行流程基本一致，只不過在內部分別爲請求者創建 「線程」  和 「進程」。

基本使用：

  服務端

  客戶端

以上ForkingTCPServer只是將 ThreadingTCPServer 實例中的代碼：

1 2 3

server  =  SocketServer.ThreadingTCPServer(( '127.0.0.1' , 8009 ),MyRequestHandler) 變動爲： server  =  SocketServer.ForkingTCPServer(( '127.0.0.1' , 8009 ),MyRequestHandler)

SocketServer的ThreadingTCPServer之因此能夠同時處理請求得益於 select 和 os.fork 兩個東西，其實本質上就是在服務器端爲每個客戶端建立一個進程，當前新建立的進程用來處理對應客戶端的請求，因此，能夠支持同時n個客戶端連接（長鏈接）。

源碼剖析參考 ThreadingTCPServer

Twisted

Twisted是一個事件驅動的網絡框架，其中包含了諸多功能，例如：網絡協議、線程、數據庫管理、網絡操做、電子郵件等。

事件驅動

簡而言之，事件驅動分爲二個部分：第一，註冊事件；第二，觸發事件。

自定義事件驅動框架，命名爲：「弒君者」：

  最牛逼的事件驅動框架

程序員使用「弒君者框架」：

  View Code

如上述代碼，事件驅動只不過是框架規定了執行順序，程序員在使用框架時，能夠向原執行順序中註冊「事件」，從而在框架執行時能夠出發已註冊的「事件」。

基於事件驅動Socket

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

#!/usr/bin/env python # -*- coding:utf-8 -*-   from  twisted.internet  import  protocol from  twisted.internet  import  reactor   class  Echo(protocol.Protocol):      def  dataReceived( self , data):          self .transport.write(data)   def  main():      factory  =  protocol.ServerFactory()      factory.protocol  =  Echo        reactor.listenTCP( 8000 ,factory)      reactor.run()   if  __name__  = =  '__main__' :      main()

程序執行流程：

• 運行服務端程序
• 建立Protocol的派生類Echo
• 建立ServerFactory對象，並將Echo類封裝到其protocol字段中
• 執行reactor的 listenTCP 方法，內部使用 tcp.Port 建立socket server對象，並將該對象添加到了 reactor的set類型的字段 _read 中
• 執行reactor的 run 方法，內部執行 while 循環，並經過 select 來監視 _read 中文件描述符是否有變化，循環中...
• 客戶端請求到達
• 執行reactor的 _doReadOrWrite 方法，其內部經過反射調用 tcp.Port 類的 doRead 方法，內部 accept 客戶端鏈接並建立Server對象實例（用於封裝客戶端socket信息）和 建立 Echo 對象實例（用於處理請求） ，而後調用 Echo 對象實例的 makeConnection 方法，建立鏈接。
• 執行 tcp.Server 類的 doRead 方法，讀取數據，
• 執行 tcp.Server 類的 _dataReceived 方法，若是讀取數據內容爲空（關閉連接），不然，出發 Echo 的 dataReceived 方法
• 執行 Echo 的 dataReceived 方法

從源碼能夠看出，上述實例本質上使用了事件驅動的方法 和 IO多路複用的機制來進行Socket的處理。

  異步IO操做

更多請見：

　　https://twistedmatrix.com/trac　　http://twistedmatrix.com/documents/current/api/