深刻Asyncio(八)異步迭代器

Async Iterators: async for

除了async defawait語法外,還有一些其它的語法,本章學習異步版的for循環與迭代器,不難理解,普通迭代器是經過__iter____next__兩個特殊方法實現的,以下例。redis

>>> class A:
...     def __iter__(self):    # 1
...             self.x = 0     # 2
...             return self    # 3
...     def __next__(self):    # 4
...             if self.x > 2:
...                     raise StopIteration
...             else:
...                     self.x += 1
...                     return self.x
>>> for i in A():
...     print(i)
...
1
2
3
  1. 迭代器必須支持__iter__方法;bash

  2. 值初始化;網絡

  3. 返回一個可迭代對象,這個對象能夠執行__next__方法,這裏A自己就實現了__next__方法,因此返回它自己便可;異步

  4. 在每次迭代時調用。async


__next__()方法聲明爲異步函數,要容許await某些IO操做,除開命名的差異外,幾乎是相同的定義,PEP 492中規範說明了如何實現一個異步迭代器:
1. 實現__aiter__()方法(不須要用async def);
2. __aiter__()方法必須返回一個支持__anext__()方法的對象;
3. __anext__()必須返回迭代器的每一個值,並在結束迭代時拋出StopAsyncIteration異常。函數

舉個例子,好比Redis的key對應的value是一個很大的集合,想迭代這些key的value會出現嚴重的網絡IO,異步迭代器能夠這樣實現:oop

import asyncio
from aioredis import create_redis

async def main():   # 1
    redis = await create_redis(('localhost', 6379))    # 2
    keys = ['America', 'Africa', 'Europe', 'Asia']  # 3

    async for value in OneAtTime(redis, keys):  # 4
        await process(value)    # 5

class OneAtTime:
    def __init__(self, redis, keys):    # 6
        self.redis = redis
        self.keys = keys
    def __aiter__(self):    # 7
        self.ikeys = iter(self.keys)
        return self
    async def __anext__(self):  # 8
        try:
            k = next(self.ikeys)    # 9
        except StopIteration:   # 10
            raise StopAsyncIteration
        value = await redis.get(k)  # 11
        return value

asyncio.get_event_loop().run_until_complete(main())
  1. 主程序入口,用於在loop.run_until_complete()方法中調用;學習

  2. 使用aioredis庫獲取異步鏈接;code

  3. 假設每一個key對應的value實例很是大;協程

  4. 使用async for循環,關鍵點是這裏的迭代器能夠在等待數據時切換任務;

  5. 在獲得返回值後用協程去處理這個值,假設這個函數也是IO綁定的;

  6. 用一個實例來存儲redis鏈接和keys表;

  7. 像普通迭代器同樣,初始化一些值,這裏咱們建立一個迭代器做值,因爲這個類也重載了__anext__方法,因此直接返回自身;

  8. __anext__方法用async def聲明;

  9. 迭代這個普通的迭代器;

  10. 處理普通異常並從新拋出一個異步異常;

  11. 這個調用是網絡IO,所以用await切換它。


經過以上實現,將能夠用一個異步for循環來迭代一些處理網絡IO的異步迭代器,好處是能夠只用一個事件loop就能處理大量的數據。

相關文章
相關標籤/搜索