python異步IO初探
探索異步IO執以前,先說說IO的種類html
- 阻塞IO最簡單,即讀寫數據時,須要等待操做完成,才能繼續執行。進階的作法就是用多線程來處理須要IO的部分,缺點是開銷會有些大。
- 非阻塞IO,即讀寫數據時,若是暫時不可讀寫,則馬上返回,而不等待。由於不知道何時是可讀寫的,因此輪詢時可能會浪費CPU時間。
- IO複用,即在讀寫數據前,先檢查哪些描述符是可讀寫的,再去讀寫。select 和 poll 就是這樣作的,它們會遍歷全部被監視的描述符,查看是否知足,這個檢查的過程是阻塞的。而 epoll、kqueue 和/dev/poll 則作了些改進,事先註冊須要檢查哪些描述符的哪些事件,當狀態發生變化時,內核會調用對應的回調函數,將這些描述符保存下來;下次獲取可用的描述符時,直接返回這些發生變化的描述符便可。
- 信號驅動,即描述符就緒時,內核發送SIGIO信號,再由信號處理程序處理這些信號便可。不過信號處理的時機是從內核態返回用戶態時,感受也得把這些事件收集起來纔好處理,有點想模擬IO複用了。
- 最後時異步IO,即讀寫數據時,只註冊事件,內核完成讀寫後(讀取的數據會複製到用戶態),再調用事件處理函數。這整個過程都不會阻塞調用線程。
Python 3.4 開始,標準庫裏又新增了 asyncio 這個模塊。
從原理上來講,它和 Tornado 其實差很少,都是註冊 IO 事件,而後在 IO loop 中等待事件發生,而後調用相應的處理函數。python
aiomysql說明
1. poll
此庫提供一個簡單的鏈接對象用法:mysql
import asyncio import aiomysql loop = asyncio.get_event_loop() @asyncio.coroutine def go() pool = yield from aiomysql.create_pool(host='127.0.0.1', port=3306, user='root', password='', db='mysql', loop=loop) with (yield from pool) as conn: cur = yield from conn.cursor() yield from cur.execute("SELECT 10") # print(cur.description) (r,) = yield from cur.fetchone() assert r == 10 pool.close() yield from pool.wait_closed() loop.run_until_complete(go())
解釋:create_pool(minsize=1, maxsize=10, loop=None, **kwargs)
一個協程,建立鏈接池,鏈接database
參數:
minsize(int)最小的池子 , 反之maxsize(int)
loop一個可選的事件循環實例,若未循環,使用 asyncio.get_event_loop()
echo(bool)默認log執行SQL查詢
kwargssql
Class pool:最重要的是得到鏈接:數據庫
with (yield from pool) as conn: cur = yield from conn.cursor()
2. aiomysql — API Reference
connection
該庫用來鏈接MySQL,使用簡單的aiomysql.connect()
,能夠鏈接一個數據庫或者關聯池子以鏈接更多多線程
import asyncio # 舉例說明 import aiomysql loop = asyncio.get_event_loop() @asyncio.coroutine def test_example(): conn = yield from aiomysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='mysql', loop=loop) cur = yield from conn.cursor() yield from cur.execute("SELECT Host,User FROM user") print(cur.description) r = yield from cur.fetchall() print(r) yield from cur.close() conn.close() loop.run_until_complete(test_example())
3. Cursors 遊標
import asyncio import aiomysql loop = asyncio.get_event_loop() @asyncio.coroutine def test_example(): conn = yield from aiomysql.connect(host='127.0.0.1', port=3306, user='root', password='', db='mysql', loop=loop) # create default cursor cursor = yield from conn.cursor() # execute sql query # 執行sql查詢 yield from cursor.execute("SELECT Host, User FROM user") # fetch all results r = yield from cursor.fetchall() # detach cursor from connection yield from cursor.close() # close connection conn.close() loop.run_until_complete(test_example())