【Python】Webpy 源碼學習

時間 2019-11-24

原文原文鏈接

那麼webpy是什麼呢？閱讀它的源碼咱們又能學到什麼呢？

簡單說webpy就是一個開源的web應用框架（官方首頁：http://webpy.org/）

它的源代碼很是整潔精幹，學習它一方面可讓咱們快速瞭解python語法（遇到看不懂的語法就去google），另外一方面能夠學習到python高級特性的使用（譬如反射，裝飾器），並且在webpy中還內置了一個簡單HTTP服務器（文檔建議該服務器僅用於開發環境，生產環境應使用apache之類的），對於想簡單瞭解下HTTP服務器實現的朋友來講，這個是再好不過的例子了（而且在這個服務器代碼中，還能夠學習到線程池，消息隊列等技術），除此以外webpy還包括模板渲染引擎，DB框架等等，這裏面的每個部分均可以單獨拿出來學習.

在JavaWeb開發中有Servlet規範，那麼Python Web開發中有規範嗎？
答案就是：WSGI，它定義了服務器如何與你的webapp交互

關於WSGI規範，能夠參看下面這個連接：
http://ivory.idyll.org/articles/wsgi-intro/what-is-wsgi.html

如今咱們利用webpy內置的WSGIServer，按照WSGI規範，寫一個簡單的webapp，eg: html

Python代碼

#/usr/bin/python
import web.wsgiserver
def my_wsgi_app(env, start_response):
status = '200 OK'
response_headers = [('Content-type','text/plain')]
start_response(status, response_headers)
return ['Hello world!']
server = web.wsgiserver.CherryPyWSGIServer(("127.0.0.1", 8080), my_wsgi_app);
server.start()

執行代碼：

在具體看WSGIServer代碼以前，咱們先看一幅圖，這幅圖概述了WSGIServer內部執行流程：

接下來咱們看下代碼，ps: 爲了較清晰的梳理主幹流程，我只列出核心代碼段 python

Python代碼

# Webpy內置的WSGIServer
class CherryPyWSGIServer(HTTPServer):
def __init__(self, bind_addr, wsgi_app, numthreads=10, server_name=None,
max=-1, request_queue_size=5, timeout=10, shutdown_timeout=5):
# 線程池(用來處理外部請求，稍後詳述)
self.requests = ThreadPool(self, min=numthreads or 1, max=max)
# 響應外部請求的webapp
self.wsgi_app = wsgi_app
# wsgi網關（http_request ->wsgi_gateway ->webpy/webapp)
self.gateway = WSGIGateway_10
# wsgi_server監聽地址
self.bind_addr = bind_addr
# ...
class HTTPServer(object):
# 啓動一個網絡服務器
# 若是你閱讀過<<Unix網絡編程>>，那麼對於後面這些代碼將會再熟悉不過,惟一的區別一個是c，
#一個是python
def start(self):
# 若是bind_addr是一個字符串（文件名），那麼採用unix domain協議
if isinstance(self.bind_addr, basestring):
try: os.unlink(self.bind_addr)
except: pass
info = [(socket.AF_UNIX, socket.SOCK_STREAM, 0, "", self.bind_addr)]
else:
# 不然採用TCP/IP協議
host, port = self.bind_addr
try:
info = socket.getaddrinfo(host, port, socket.AF_UNSPEC,
socket.SOCK_STREAM, 0, socket.AI_PASSIVE)
except socket.gaierror:
# ...
# 循環測試 getaddrinfo函數返回值，直到有一個bind成功或是遍歷完全部結果集
for res in info:
af, socktype, proto, canonname, sa = res
try:
self.bind(af, socktype, proto)
except socket.error:
if self.socket:
self.socket.close()
self.socket = None
continue
break
if not self.socket:
raise socket.error(msg)
# 此時socket 進入listening狀態（能夠用netstat命令查看）
self.socket.listen(self.request_queue_size)
# 啓動線程池（這個線程池作些什麼呢？稍後會說）
self.requests.start()
self.ready = True
while self.ready:
# HTTPSever核心函數，用來接受外部請求(request)
# 而後封裝成一個HTTPConnection對象放入線程池中的消息隊列裏，
# 接着線程會從消息隊列中取出該對象並處理
self.tick()
def bind(self, family, type, proto=0):
# 建立socket
self.socket = socket.socket(family, type, proto)
# 設置socket選項(容許在TIME_WAIT狀態下，bind相同的地址)
self.socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# socket bind
self.socket.bind(self.bind_addr)
# HTTPSever核心函數
def tick(self):
try:
# 接受一個TCP鏈接
s, addr = self.socket.accept()
# 把外部鏈接封裝成一個HTTPConnection對象
makefile = CP_fileobject
conn = self.ConnectionClass(self, s, makefile)
# 而後把該對象放入線程池中的消息隊列裏
self.requests.put(conn)
except :
# ...

以前咱們說過HTTPServer中的request屬性是一個線程池(這個線程池內部關聯着一個消息隊列)，如今咱們看看做者是如何實現一個線程池的： web

Python代碼

class ThreadPool(object):
def __init__(self, server, min=10, max=-1):
# server實例
self.server = server
# 線程池中線程數配置（最小值，最大值）
self.min = min
self.max = max
# 線程池中的線程實例集合（list）
self._threads = []
# 消息隊列（Queue是一個線程安全隊列）
self._queue = Queue.Queue()
# 編程技巧，用來簡化代碼，等價於：
# def get(self)
# return self._queue.get()
self.get = self._queue.get
# 啓動線程池
def start(self):
# 建立min個WorkThread並啓動
for i in range(self.min):
self._threads.append(WorkerThread(self.server))
for worker in self._threads:
worker.start()
# 把obj(一般是一個HTTPConnection對象)放入消息隊列
def put(self, obj):
self._queue.put(obj)
# 在不超過容許建立線程的最大數下，增長amount個線程
def grow(self, amount):
for i in range(amount):
if self.max > 0 and len(self._threads) >= self.max:
break
worker = WorkerThread(self.server)
self._threads.append(worker)
worker.start()
# kill掉amount個線程
def shrink(self, amount):
# 1.kill掉已經不在運行的線程
for t in self._threads:
if not t.isAlive():
self._threads.remove(t)
amount -= 1
# 2.若是已經kill掉線程數小於amount，則在消息隊列中放入線程退出標記對象_SHUTDOWNREQUEST
# 當線程從消息隊列中取到的不是一個HTTPConnection對象，而是一個_SHUTDOWNREQUEST，則退出運行
if amount > 0:
for i in range(min(amount, len(self._threads) - self.min)):
self._queue.put(_SHUTDOWNREQUEST)
# 工做線程WorkThread
class WorkerThread(threading.Thread):
def __init__(self, server):
self.ready = False
self.server = server
# ...
threading.Thread.__init__(self)
def run(self):
# 線程被調度運行，ready狀態位設置爲True
self.ready = True
while True:
# 嘗試從消息隊列中獲取一個obj
conn = self.server.requests.get()
# 若是這個obj是一個「退出標記」對象，線程則退出運行
if conn is _SHUTDOWNREQUEST:
return
# 不然該obj是一個HTTPConnection對象，那麼線程則處理該請求
self.conn = conn
try:
# 處理HTTPConnection
conn.communicate()
finally:
conn.close()

剛纔咱們看到，WorkThread從消息隊列中獲取一個HTTPConnection對象，而後調用它的communicate方法，那這個communicate方法究竟作了些什麼呢？ apache

Python代碼

class HTTPConnection(object):
RequestHandlerClass = HTTPRequest
def __init__(self, server, sock, makefile=CP_fileobject):
self.server = server
self.socket = sock
# 把socket對象包裝成類File對象，使得對socket讀寫就像對File對象讀寫同樣簡單
self.rfile = makefile(sock, "rb", self.rbufsize)
self.wfile = makefile(sock, "wb", self.wbufsize)
def communicate(self):
# 把HTTPConnection對象包裝成一個HTTPRequest對象
req = self.RequestHandlerClass(self.server, self)
# 解析HTTP請求
req.parse_request()
# 響應HTTP請求
req.respond()

在咱們具體看HTTPRequest.parse_request如何解析HTTP請求以前，咱們先了解下HTTP協議. HTTP協議是一個文本行的協議，它一般由如下部分組成：編程

引用

請求行（請求方法 URI路徑 HTTP協議版本）
請求頭（譬如：User-Agent，Host等等）
空行
可選的數據實體

而HTTPRequest.parse_request方法就是把socket中的字節流，按照HTTP協議規範解析，而且從中提取信息(最終封裝成一個env傳遞給webapp)：
安全

Python代碼

def parse_request(self):
self.rfile = SizeCheckWrapper(self.conn.rfile,
self.server.max_request_header_size)
# 讀取請求行
self.read_request_line()
# 讀取請求頭
success = self.read_request_headers()
# ----------------------------------------------------------------
def read_request_line(self):
# 從socket中讀取一行數據
request_line = self.rfile.readline()
# 按照HTTP協議規範，把request_line分割成請求方法(method)，uri路徑(uri)，HTTP協議版本(req_protocol)
method, uri, req_protocol = request_line.strip().split(" ", 2)
self.uri = uri
self.method = method
scheme, authority, path = self.parse_request_uri(uri)
# 獲取uri請求參數
qs = ''
if '?' in path:
path, qs = path.split('?', 1)
self.path = path
# ----------------------------------------------------------------
def read_request_headers(self):
# 讀取請求頭，inheaders是一個dict
read_headers(self.rfile, self.inheaders)
# ----------------------------------------------------------------
def read_headers(rfile, hdict=None):
if hdict is None:
hdict = {}
while True:
line = rfile.readline()
# 把line按照":"分割成k, v，譬如 Host:baidu.com就被分割成Host和baidu.com兩部分
k, v = line.split(":", 1)
# 格式化分割後的
k = k.strip().title()
v = v.strip()
hname = k
# HTTP協議中的有些請求頭容許重複(譬如Accept等等)，那麼webpy就會把這些相同頭的value用","鏈接起來
if k in comma_separated_headers:
existing = hdict.get(hname)
if existing:
v = ", ".join((existing, v))
# 把請求頭k, v存入hdict
hdict[hname] = v
return hdict

至此咱們就分析完了HTTPRequest.parse_request方法如何解析HTTP請求，下面咱們就接着看看HTTPRequest.respond如何響應請求：
服務器

Python代碼

def respond(self):
# 把請求交給gateway響應
self.server.gateway(self).respond()

在繼續往下看代碼以前，咱們先簡單思考下，爲何要有這個gateway，爲何這裏不把請求直接交給webapp處理？
我本身以爲仍是出於分層和代碼複用性考慮。由於可能存在，或者須要支持不少web規範，目前咱們使用的是wsgi規範，明天可能出來個ysgi，大後天可能還來個zsgi，若是按照當前的設計，咱們只須要替換HTTPServer的gateway屬性，而不用修改其餘代碼（相似JAVA概念中的DAO層），下面咱們就來看看這個gateway的具體實現(回到本文最初，咱們在Server中註冊的gateway是WSGIGateway_10)：

WSGI網關網絡

Python代碼