最近公司 Python 後端項目進行重構,整個後端邏輯基本都變動爲採用"異步"協程的方式實現。看着滿屏幕通過 async await(協程在 Python 中的實現)修飾的代碼,我頓時感到一臉懵逼,不知所措。以前雖然有了解過"協程"是什麼東西,但並無深刻探索,因而正好藉着此次機會能夠好好學習一下。html
簡單來講,協程是一種基於線程之上,但又比線程更加輕量級的存在。對於系統內核來講,協程具備不可見的特性,因此這種由程序員本身寫程序來管理的輕量級線程又常被稱做 "用戶空間線程"。python
協程比多線程好在哪呢?git
線程的控制權在操做系統手中,而 協程的控制權徹底掌握在用戶本身手中 ,所以利用協程能夠減小程序運行時的上下文切換,有效提升程序運行效率。程序員
創建線程時,系統默認分配給線程的 棧 大小是 1 M,而協程更輕量,接近 1 K 。所以能夠在相同的內存中開啓更多的協程。github
因爲協程的本質不是多線程而是單線程,因此不須要多線程的鎖機制。由於只有一個線程,也不存在同時寫變量而引發的衝突。在協程中控制共享資源不須要加鎖,只須要判斷狀態便可。因此協程的執行效率比多線程高不少,同時也有效避免了多線程中的競爭關係。後端
適用場景:協程適用於被阻塞的,且須要大量併發的場景。markdown
不適用場景:協程不適用於存在大量計算的場景(由於協程的本質是單線程來回切換),若是遇到這種狀況,仍是應該使用其餘手段去解決。多線程
至此咱們對 "協程" 應該有了個大概的瞭解,但故事說到這裏,相信有朋友仍是滿臉疑問: "協程" 對於接口測試有什麼幫助呢?不要着急,答案就在下面。併發
相信用過 Python 作接口測試的朋友都對 requests 庫不陌生。 requests 中實現的 http 請求是同步請求,但其實基於 http 請求 IO 阻塞的特性,很是適合用協程來實現 "異步" http 請求從而提高測試效率。 我 相信早就有人注意到了這點,因而在 Github 通過了一番探索,果不其然,最終尋找到了支持協程 "異步" 調用 http 的開源庫: httpx框架
httpx 是一個幾乎繼承了全部 requests 的特性而且支持 "異步" http 請求的開源庫。簡單來講,能夠認爲 httpx 是強化版 requests。
下面你們能夠跟着我一塊兒見識一下 httpx 的強大~
httpx 的安裝很是簡單,在 Python 3.6 以上的環境執行
pip install httpx
複製代碼
俗話說得好,效率決定成敗。我分別使用了 httpx 異步 和 同步 的方式對批量 http 請求進行了耗時比較,來一塊兒看看結果吧~
首先來看看同步 http 請求的耗時表現:
import asyncio
import httpx
import threading
import time
def sync_main(url, sign):
response = httpx.get(url).status_code
print(f'sync_main: {threading.current_thread()}: {sign}: {response}')
sync_start = time.time()
[sync_main(url='http://www.baidu.com', sign=i) for i in range(200)]
sync_end = time.time()
print(sync_end - sync_start)
複製代碼
代碼比較簡單,能夠看到在 sync_main 中則實現了同步 http 訪問百度 200 次。
運行後輸出以下(截取了部分關鍵輸出...):
sync_main: <_MainThread(MainThread, started 4471512512)>: 192: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 193: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 194: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 195: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 196: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 197: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 198: 200
sync_main: <_MainThread(MainThread, started 4471512512)>: 199: 200
16.56578803062439
複製代碼
能夠看到在上面的輸出中, 主線程沒有進行切換(由於原本就是單線程啊喂!)請求按照順序執行(由於是同步請求)。
程序運行共耗時 16.6 秒~
下面咱們試試 "異步" http 請求:
import asyncio
import httpx
import threading
import time
client = httpx.AsyncClient()
async def async_main(url, sign):
response = await client.get(url)
status_code = response.status_code
print(f'async_main: {threading.current_thread()}: {sign}:{status_code}')
loop = asyncio.get_event_loop()
tasks = [async_main(url='http://www.baidu.com', sign=i) for i in range(200)]
async_start = time.time()
loop.run_until_complete(asyncio.wait(tasks))
async_end = time.time()
loop.close()
print(async_end - async_start)
複製代碼
上述代碼在 async_main 中用 async await 關鍵字實現了"異步" http,經過 asyncio ( 異步 io 庫,不在本片文章細說,感興趣的朋友能夠查閱文檔 ) 請求百度首頁 200 次並打印出了耗時。
運行代碼後能夠看到以下輸出(截取了部分關鍵輸出...)
async_main: <_MainThread(MainThread, started 4471512512)>: 56: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 99: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 67: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 93: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 125: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 193: 200
async_main: <_MainThread(MainThread, started 4471512512)>: 100: 200
4.518340110778809
複製代碼
能夠看到順序雖然是亂的(56,99,67...) (這是由於程序在協程間不停切換) 可是主線程並無切換 (協程本質仍是單線程 )。
程序共耗時 4.5 秒~
比起同步請求耗時的 16.6 秒 縮短了接近 73 %~
俗話說得好,一步快,步步快。 在耗時方面,"異步" http 確實比同步 http 快了不少。固然,"協程" 不只僅能在請求效率方面賦能接口測試, 掌握 "協程"後,相信測試小夥伴們的技術水平也能提高一個臺階,從而設計出更優秀的測試框架。
此次的分享就到這裏圓滿收尾啦~,期待下次再會,更多精彩文章歡迎關注: