Python網絡01 原始Python服務器

時間 2019-11-16

原文原文鏈接

做者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉載，也請保留這段聲明。謝謝！java

以前個人Python教程中有人留言，表示只學Python沒有用，必須學會一個框架(好比Django和web.py)才能找到工做。而個人想法是，掌握一個相似於框架的高級工具是有用的，可是基礎的東西可讓你永遠不被淘汰。不要被工具限制了本身的發展。今天，我在這裏想要展現的，就是不使用框架，甚至不使用Python標準庫中的高級包，只使用標準庫中的socket接口(我不是很明白套接字這個翻譯，因此使用socket的英文名字)，寫一個Python服務器。python

在當今Python服務器框架 (framework, 好比Django, Twisted, web.py等等) 橫行的時代，從底層的socket開始寫服務器彷佛是一個出力不討好的笨方法。框架的意義在於掩蓋底層的細節，提供一套對於開發人員更加友好的API，並處理諸如MVC的佈局問題。框架容許咱們快速的構建一個成型並且成熟的Python服務器。然而，框架自己也是依賴於底層(好比socket)。對於底層socket的瞭解，不只能夠幫助咱們更好的使用框架，更可讓咱們明白框架是如何設計的。更進一步，若是擁有良好的底層socket編程知識和其餘系統編程知識，你徹底能夠設計並開發一款本身的框架。若是你能夠從底層socket開始，實現一個完整的Python服務器，支持用戶層的協議，並處理好諸如MVC(Model-View-Control)、多線程(threading)等問題，並整理出一套清晰的函數或者類，做爲接口(API)呈現給用戶，你就至關於設計了一個框架。web

socket接口是其實是操做系統提供的系統調用。socket的使用並不侷限於Python語言，你能夠用C或者JAVA來寫出一樣的socket服務器，而全部語言使用socket的方式都相似(Apache就是使用C實現的服務器)。而你不能跨語言的使用框架。框架的好處在於幫你處理了一些細節，從而實現快速開發，但同時受到Python自己性能的限制。咱們已經看到，許多成功的網站都是利用動態語言(好比Python, Ruby或者PHP，好比twitter和facebook)快速開發，在網站成功以後，將代碼轉換成諸如C和JAVA這樣一些效率比較高的語言，從而讓服務器能更有效率的面對天天億萬次的請求。在這樣一些時間，底層的重要性，就遠遠超過了框架。數據庫

下面的一篇文章雖然是在談JAVA，但我以爲也適用於Python的框架之爭。編程

http://yakovfain.com/2012/10/11/the-degradation-of-java-developers/windows

TCP/IP和socket

咱們須要對網絡傳輸，特別是TCP/IP協議和socket有必定的瞭解。socket是進程間通訊的一種方法 (參考Linux進程間通訊)，它是基於網絡傳輸協議的上層接口。socket有許多種類型，好比基於TCP協議或者UDP協議(兩種網絡傳輸協議)。其中又以TCP socket最爲經常使用。TCP socket與雙向管道(duplex PIPE)有些相似，一個進程向socket的一端寫入或讀取文本流，而另外一個進程能夠從socket的另外一端讀取或寫入，比較特別是，這兩個創建socket通訊的進程能夠分別屬於兩臺不一樣的計算機。所謂的TCP協議，就是規定了一些通訊的守則，以便在網絡環境下可以有效實現上述進程間通訊過程。雙向管道(duplex PIPE)存活於同一臺電腦中，因此沒必要區分兩個進程的所在計算機的地址，而socket必須包含有地址信息，以便實現網絡通訊。一個socket包含四個地址信息: 兩臺計算機的IP地址和兩個進程所使用的端口(port)。IP地址用於定位計算機，而port用於定位進程 (一臺計算機上能夠有多個進程分別使用不一樣的端口)。瀏覽器

一個TCP socket鏈接的網絡安全

TCP socket

在互聯網上，咱們可讓某臺計算機做爲服務器。服務器開放本身的端口，被動等待其餘計算機鏈接。當其餘計算機做爲客戶，主動使用socket鏈接到服務器的時候，服務器就開始爲客戶提供服務。服務器

在Python中，咱們使用標準庫中的socket包來進行底層的socket編程。

首先是服務器端，咱們使用bind()方法來賦予socket以固定的地址和端口，並使用listen()方法來被動的監聽該端口。當有客戶嘗試用connect()方法鏈接的時候，服務器使用accept()接受鏈接，從而創建一個鏈接的socket：

# Written by Vamei # Server side import socket # Address HOST = '' PORT = 8000 reply = 'Yes'
# Configure socket s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((HOST, PORT)) # passively wait, 3: maximum number of connections in the queue s.listen(3) # accept and establish connection conn, addr = s.accept() # receive message request = conn.recv(1024)

print 'request is: ',request print 'Connected by', addr # send message conn.sendall(reply) # close connection conn.close()

socket.socket()建立一個socket對象，並說明socket使用的是IPv4(AF_INET，IP version 4)和TCP協議(SOCK_STREAM)。

而後用另外一臺電腦做爲客戶，咱們主動使用connect()方法來搜索服務器端的IP地址(在Linux中，你能夠用$ifconfig來查詢本身的IP地址)和端口，以便客戶能夠找到服務器，並創建鏈接:

# Written by Vamei # Client side import socket # Address HOST = '172.20.202.155' PORT = 8000 request = 'can you hear me?' # configure socket s    = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.connect((HOST, PORT)) # send message s.sendall(request) # receive message reply   = s.recv(1024) print 'reply is: ',reply # close connection s.close()

在上面的例子中，咱們對socket的兩端均可以調用recv()方法來接收信息，調用sendall()方法來發送信息。這樣，咱們就能夠在分處於兩臺計算機的兩個進程間進行通訊了。當通訊結束的時候，咱們使用close()方法來關閉socket鏈接。

(若是沒有兩臺計算機作實驗，也能夠將客戶端IP想要connect的IP改成"127.0.0.1"，這是個特殊的IP地址，用來鏈接當地主機。)

基於TCP socket的HTTP服務器

上面的例子中，咱們已經可使用TCP socket來爲兩臺遠程計算機創建鏈接。然而，socket傳輸自由度過高，從而帶來不少安全和兼容的問題。咱們每每利用一些應用層的協議(好比HTTP協議)來規定socket使用規則，以及所傳輸信息的格式。

HTTP協議利用請求-迴應(request-response)的方式來使用TCP socket。客戶端向服務器發一段文本做爲request，服務器端在接收到request以後，向客戶端發送一段文本做爲response。在完成了這樣一次request-response交易以後，TCP socket被廢棄。下次的request將創建新的socket。request和response本質上說是兩個文本，只是HTTP協議對這兩個文本都有必定的格式要求。

request-response cycle

如今，咱們寫出一個HTTP服務器端：

# Written by Vamei import socket # Address HOST = '' PORT = 8000 # Prepare HTTP response text_content = '''HTTP/1.x 200 OK Content-Type: text/html <head> <title>WOW</title> </head> <html> <p>Wow, Python Server</p> <IMG src="test.jpg"/> </html> '''
# Read picture, put into HTTP format f = open('test.jpg','rb') pic_content = ''' HTTP/1.x 200 OK Content-Type: image/jpg ''' pic_content = pic_content + f.read() f.close() # Configure socket s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((HOST, PORT)) # infinite loop, server forever while True: # 3: maximum number of requests waiting s.listen(3) conn, addr = s.accept() request = conn.recv(1024) method = request.split(' ')[0] src = request.split(' ')[1] # deal with GET method if method == 'GET': # ULR if src == '/test.jpg': content = pic_content else: content = text_content print 'Connected by', addr print 'Request is:', request conn.sendall(content) # close connection conn.close()

深刻HTTP服務器程序

如咱們上面所看到的，服務器會根據request向客戶傳輸的兩條信息text_content和pic_content中的一條，做爲response文本。整個response分爲起始行(start line), 頭信息(head)和主體(body)三部分。起始行就是第一行:

HTTP/1.x 200 OK

它實際上又由空格分爲三個片斷，HTTP/1.x表示所使用的HTTP版本，200表示狀態(status code)，200是HTTP協議規定的，表示服務器正常接收並處理請求，OK是供人來閱讀的status code。

頭信息跟隨起始行，它和主體之間有一個空行。這裏的text_content或者pic_content都只有一行的頭信息，text_content用來表示主體信息的類型爲html文本：

Content-Type: text/html

而pic_content的頭信息(Content-Type: image/jpg)說明主體的類型爲jpg圖片(image/jpg)。

主體信息爲html或者jpg文件的內容。

(注意，對於jpg文件，咱們使用'rb'模式打開，是爲了與windows兼容。由於在windows下，jpg被認爲是二進制(binary)文件，在UNIX系統下，則不須要區分文本文件和二進制文件。)

咱們並無寫客戶端程序，後面咱們會用瀏覽器做爲客戶端。request由客戶端程序發給服務器。儘管request也能夠像response那樣分爲三部分，request的格式與response的格式並不相同。request由客戶發送給服務器，好比下面是一個request：

GET /test.jpg HTTP/1.x
Accept: text/*

起始行能夠分爲三部分，第一部分爲請求方法(request method)，第二部分是URL，第三部分爲HTTP版本。request method能夠有GET， PUT， POST， DELETE， HEAD。最經常使用的爲GET和POST。GET是請求服務器發送資源給客戶，POST是請求服務器接收客戶送來的數據。當咱們打開一個網頁時，咱們一般是使用GET方法；當咱們填寫表格並提交時，咱們一般使用POST方法。第二部分爲URL，它一般指向一個資源(服務器上的資源或者其它地方的資源)。像如今這樣，就是指向當前服務器的當前目錄的test.jpg。

按照HTTP協議的規定，服務器須要根據請求執行必定的操做。正如咱們在服務器程序中看到的，咱們的Python程序先檢查了request的方法，隨後根據URL的不一樣，來生成不一樣的response(text_content或者pic_content)。隨後，這個response被髮送回給客戶端。

使用瀏覽器實驗

爲了配合上面的服務器程序，我已經在放置Python程序的文件夾裏，保存了一個test.jpg圖片文件。咱們在終端運行上面的Python程序，做爲服務器端，再打開一個瀏覽器做爲客戶端。(若是有時間，你也徹底能夠用Python寫一個客戶端。原理與上面的TCP socket的客戶端程序相相似。)

在瀏覽器的地址欄輸入:

127.0.0.1:8000

(固然，你也能夠用令一臺電腦，並輸入服務器的IP地址。) 我獲得下面的結果:

OK，我已經有了一個用Python實現的，並從socket寫起的服務器了。

從終端，咱們能夠看到，瀏覽器實際上發出了兩個請求。第一個請求爲 (關鍵信息在起始行，這一個請求的主體爲空):

GET / HTTP/1.1
Host: 127.0.0.1:8000
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:14.0) Gecko/20100101 Firefox/14.0.1
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip, deflate
Connection: keep-alive

咱們的Python程序根據這個請求，發送給服務器text_content的內容。

瀏覽器接收到text_content以後，發現正文的html文本中有<IMG src="text.jpg" />，知道須要得到text.jpg文件來補充爲圖片，當即發出了第二個請求:

GET /test.jpg HTTP/1.1
Host: 127.0.0.1:8000
User-Agent: Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:14.0) Gecko/20100101 Firefox/14.0.1
Accept: image/png,image/*;q=0.8,*/*;q=0.5
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip, deflate
Connection: keep-alive
Referer: http://127.0.0.1:8000/

咱們的Python程序分析過起始行以後，發現/test.jpg符合if條件，因此將pic_content發送給客戶。

最後，瀏覽器根據html語言的語法，將html文本和圖畫以適當的方式顯示出來。(html可參考http://www.w3schools.com/html/default.asp)

探索的方向

1) 在咱們上面的服務器程序中，咱們用while循環來讓服務器一直工做下去。實際上，咱們還能夠根據我以前介紹的多線程的知識，將while循環中的內容改成多進程或者多線程工做。(參考Python多線程與同步，Python多進程初步，Python多進程探索)

2) 咱們的服務器程序還不完善，咱們還可讓咱們的Python程序調用Python的其餘功能，以實現更復雜的功能。好比說製做一個時間服務器，讓服務器向客戶返回日期和時間。你還可使用Python自帶的數據庫，來實現一個完整的LAMP服務器。

3) socket包是比較底層的包。Python標準庫中還有高層的包，好比SocketServer，SimpleHTTPServer，CGIHTTPServer，cgi。這些都包都是在幫助咱們更容易的使用socket。若是你已經瞭解了socket，那麼這些包就很容易明白了。利用這些高層的包，你能夠寫一個至關成熟的服務器。

4) 在經歷了全部的辛苦和麻煩以後，你可能發現，框架是那麼的方便，因此決定去使用框架。或者，你已經有了參與到框架開發的熱情。

更多內容

TCP/IP和port參考: TCP/IP illustrated http://book.douban.com/subject/1741925/

socket參考: UNIX Network Programming http://book.douban.com/subject/1756533/

Python socket 官方文檔 http://docs.python.org/2/library/socket.html

HTTP參考: HTTP, the definitive guide http://book.douban.com/subject/1440226/