最近公司 Python 後端項目進行重構,整個後端邏輯基本都變更為采用"異步"協程的方式實作。看着滿螢幕經過 async await(協程在 Python 中的實作)修飾的代碼,我頓時感到一臉懵逼,不知所措。
雖然之前有了解過"協程"是什麼東西,但并沒有深入探索,于是正好借着這次機會可以好好學習一下。
什麼是協程?
簡單來說,協程是一種基于線程之上,但又比線程更加輕量級的存在。對于系統核心來說,協程具有不可見的特性,是以這種由 程式員自己寫程式來管理 的輕量級線程又常被稱作 "使用者空間線程"。
協程比多線程好在哪呢?
1. 線程的控制權在作業系統手中,而 協程的控制權完全掌握在使用者自己手中,是以利用協程可以減少程式運作時的上下文切換,有效提高程式運作效率。
2. 建立線程時,系統預設配置設定給線程的 棧 大小是 1 M,而協程更輕量,接近 1 K 。是以可以在相同的記憶體中開啟更多的協程。
3. 由于協程的本質不是多線程而是單線程,是以不需要多線程的鎖機制。因為隻有一個線程,也不存在同時寫變量而引起的沖突。在協程中控制共享資源不需要加鎖,隻需要判斷狀态即可。是以協程的執行效率比多線程高很多,同時也有效避免了多線程中的競争關系。
協程的适用 & 不适用場景
适用場景:協程适用于被阻塞的,且需要大量并發的場景。
不适用場景:協程不适用于存在大量計算的場景(因為協程的本質是單線程來回切換),如果遇到這種情況,還是應該使用其他手段去解決。
初探異步 http 架構 httpx
至此我們對 "協程" 應該有了個大概的了解,但故事說到這裡,相信有朋友還是滿臉疑問:"協程" 對于接口測試有什麼幫助呢?不要着急,答案就在下面。
相信用過 Python 做接口測試的朋友都對 requests 庫不陌生。requests 中實作的 http 請求是同步請求,但其實基于 http 請求 IO 阻塞的特性,非常适合用協程來實作 "異步" http 請求進而提升測試效率。
相信早就有人注意到了這點,于是在 Github 經過了一番探索後,果不其然,最終尋找到了支援協程 "異步" 調用 http 的開源庫: httpx
什麼是 httpx
httpx 是一個幾乎繼承了所有 requests 的特性并且支援 "異步" http 請求的開源庫。簡單來說,可以認為 httpx 是強化版 requests。
下面大家可以跟着我一起見識一下 httpx 的強大
安裝
httpx 的安裝非常簡單,在 Python 3.6 以上的環境執行
pip install httpx
最佳實踐
俗話說得好,效率決定成敗。我分别使用了 httpx 異步 和 同步 的方式對批量 http 請求進行了耗時比較,來一起看看結果吧~
首先來看看同步 http 請求的耗時表現:
import asyncio import httpx import threading import time def sync_main(url, sign): response = httpx.get(url).status_code print(f'sync_main: {threading.current_thread}: {sign}: {response}') sync_start = time.time [sync_main(url='http://www.baidu.com', sign=i) for i in range(200)] sync_end = time.time print(sync_end - sync_start)
代碼比較簡單,可以看到在 sync_main 中則實作了同步 http 通路百度 200 次。
運作後輸出如下(截取了部分關鍵輸出...):
sync_main: <_MainThread(MainThread, started 4471512512)>: 192: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 193: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 194: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 195: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 196: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 197: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 198: 200 sync_main: <_MainThread(MainThread, started 4471512512)>: 199: 200 16.56578803062439
可以看到在上面的輸出中, 主線程沒有進行切換(因為本來就是單線程啊喂!)請求按照順序執行(因為是同步請求)。
程式運作共耗時 16.6 秒
下面我們試試 "異步" http 請求:
import asyncio import httpx import threading import time client = httpx.AsyncClient async def async_main(url, sign): response = await client.get(url) status_code = response.status_code print(f'async_main: {threading.current_thread}: {sign}:{status_code}') loop = asyncio.get_event_loop tasks = [async_main(url='http://www.baidu.com', sign=i) for i in range(200)] async_start = time.time loop.run_until_complete(asyncio.wait(tasks)) async_end = time.time loop.close print(async_end - async_start)
上述代碼在 async_main 中用 async await 關鍵字實作了"異步" http,通過 asyncio ( 異步 io 庫請求百度首頁 200 次并列印出了耗時。
運作代碼後可以看到如下輸出(截取了部分關鍵輸出...)
async_main: <_MainThread(MainThread, started 4471512512)>: 56: 200 async_main: <_MainThread(MainThread, started 4471512512)>: 99: 200 async_main: <_MainThread(MainThread, started 4471512512)>: 67: 200 async_main: <_MainThread(MainThread, started 4471512512)>: 93: 200 async_main: <_MainThread(MainThread, started 4471512512)>: 125: 200 async_main: <_MainThread(MainThread, started 4471512512)>: 193: 200 async_main: <_MainThread(MainThread, started 4471512512)>: 100: 200 4.518340110778809
可以看到順序雖然是亂的(56,99,67...) (這是因為程式在協程間不停切換) 但是主線程并沒有切換 (協程本質還是單線程 )。
程式共耗時 4.5 秒
比起同步請求耗時的 16.6 秒 縮短了接近 73 %!
俗話說得好,一步快,步步快。在耗時方面,"異步" http 确實比同步 http 快了很多。當然,"協程" 不僅僅能在請求效率方面賦能接口測試, 掌握 "協程"後,相信小夥伴們的技術水準也能提升一個台階,進而設計出更優秀的測試架構。
文章來源:
https://mp.weixin.qq.com/s/YB8YxoiJVjkgP9vkDL6iFQ