搞清楚 Python 的迭代器、可迭代對象、生成器

不少夥伴對 Python 的迭代器、可迭代對象、生成器這幾個概念有點搞不清楚，我來講說個人理解，但願對須要的朋友有所幫助。

1 迭代器協議

迭代器協議是核心，搞懂了這個，上面的幾個概念也就很好理解了。

所謂迭代器協議，就是要求一個迭代器必需要實現以下兩個方法

iterator.__iter__()

Return the iterator object itself.

iterator.__next__()

Return the next item from the container.

也就是說，一個對象只要支持上面兩個方法，就是迭代器。__iter__() 須要返回迭代器自己，而 __next__() 須要返回下一個元素。

2 可迭代對象

知道了迭代器的概念，那可迭代對象又是啥呢？

這個更簡單，只要對象實現了 __iter__() 方法，而且返回的是一個迭代器，那麼這個對象就是可迭代對象。

好比咱們常見的列表就是可迭代對象

>>> l = [1, 3, 5]
>>> iter(l)
<list_iterator object at 0x101a1d9e8>
複製代碼

使用 iter() 會調用對應的 __iter__() 方法，這裏返回的是一個列表迭代器，因此說列表就是一個可迭代對象。

3 手寫一個迭代器

迭代器的實現有不一樣的方式，相信你們首先能想到的就是自定義類，咱們就從這個提及。

便於說明，咱們手寫一個迭代器，用於生成奇數序列。

按照迭代器協議，咱們實現上述的兩個方法。

class Odd:
    def __init__(self, start=1):
        self.cur = start

    def __iter__(self):
        return self

    def __next__(self):
        ret_val = self.cur
        self.cur += 2
        return ret_val
複製代碼

終端裏，咱們實例化一個 Odd 類獲得一個對象 odd

>>> odd = Odd()
>>> odd
<__main__.Odd object at 0x101a1d9b0>
複製代碼

使用 iter() 方法會調用類裏的 __iter__ 方法，獲得它自己

>>> iter(odd)
<__main__.Odd object at 0x101a1d9b0>
複製代碼

使用 next() 方法會調用對應的 __next__() 方法，獲得下一個元素

>>> next(odd)
1
>>> next(odd)
3
>>> next(odd)
5
複製代碼

其實，odd 對象就是一個迭代器了。

咱們能夠用 for 來遍歷它

odd = Odd()
for v in odd:
	print(v)
複製代碼

細心的夥伴可能會發現，這個其實會無限的打印下去，那怎麼解決呢？

咱們拿一個列表作作實驗，先獲得它的迭代器對象

>>> l = [1, 3, 5]
>>> li = iter(l)
>>> li
<list_iterator object at 0x101a1da90>
複製代碼

而後手動獲取下一個元素，直到沒有下一個元素爲止，看下會發生什麼

>>> next(li)
1
>>> next(li)
3
>>> next(li)
5
>>> next(li)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
複製代碼

原來列表迭代器會在沒有下一個元素的時候拋出 StopIteration 異常，估計 for 語句就是根據這個異常來肯定是否結束。

咱們修改一下原來的代碼，能生成指定範圍內的奇數

class Odd:
    def __init__(self, start=1, end=10):
        self.cur = start
        self.end = end

    def __iter__(self):
        return self

    def __next__(self):
        if self.cur > self.end:
            raise StopIteration
        ret_val = self.cur
        self.cur += 2
        return ret_val
複製代碼

咱們使用 for 試一下

>>> odd = Odd(1, 10)
>>> for v in odd:
...     print(v)
...
1
3
5
7
9
複製代碼

果真，和預期一致。

咱們用 while 循環模擬 for 的執行過程

目標代碼

for v in iterable:
	print(v)
複製代碼

翻譯後的代碼

iterator = iter(iterable)
while True:
	try:
		v = next(iterator)
		print(v)
	except StopIteration:
		break
複製代碼

事實上 Python 的 for 語句原理也就是這樣，能夠將 for 理解爲一個語法糖。

4 建立迭代器的其它方式

生成器其實也是迭代器，因此可使用生成器的建立方式建立迭代器。

4.1 生成器函數

和普通函數的 return 返回不一樣，生成器函數使用 yield。

>>> def odd_func(start=1, end=10):
...     for val in range(start, end + 1):
...         if val % 2 == 1:
...             yield val
...
>>> of = odd_func(1, 5)
>>> of
<generator object odd_func at 0x101a14200>
>>> iter(of)
<generator object odd_func at 0x101a14200>
>>> next(of)
1
>>> next(of)
3
>>> next(of)
5
>>> next(of)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
複製代碼

4.2 生成器表達式

>>> g = (v for v in range(1, 5 + 1) if v % 2 == 1)
>>> g
<generator object <genexpr> at 0x101a142b0>
>>> iter(g)
<generator object <genexpr> at 0x101a142b0>
>>> next(g)
1
>>> next(g)
3
>>> next(g)
5
>>> next(g)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
StopIteration
複製代碼

4.3 怎麼選擇

到如今爲止，咱們知道了建立迭代器的 3 種方式，那麼該如何選擇？

不用說也知道，最簡單的就是生成器表達式，若是表達式能知足需求，那麼就是它；若是須要添加比較複雜的邏輯就選生成器函數；若是前二者無法知足需求，那就自定義類實現吧。總之，選擇最簡單的方式就行。

5 迭代器的特色

5.1 惰性

迭代器並非把全部的元素提早計算出來，而是在須要的時候才計算返回。

5.2 支持無限個元素

好比上面咱們創建的第一個 Odd 類，它的實例 odd 表示大於 start 的全部奇數，而列表等容器無法容納無限個元素的。

5.3 省空間

好比存 10000 個元素

>>> from sys import getsizeof
>>> a = [1] * 10000
>>> getsizeof(a)
80064
複製代碼

列表佔用 80K 左右。

而迭代器呢？

>>> from itertools import repeat
>>> b = repeat(1, times=10000)
>>> getsizeof(b)
56
複製代碼

只佔用了 56 個字節。

也正由於迭代器惰性的特色，纔有了這個優點。

6 一些須要注意的細節

6.1 迭代器同時也是可迭代對象

由於迭代器的 __iter__() 方法返回了它自身，而正好它自己就是個迭代器，因此說迭代器也是可迭代對象。

6.2 迭代器遍歷完一次就不能從頭開始了

看一個奇怪的例子

>>> l = [1, 3, 5]
>>> li = iter(l)
>>> li
<list_iterator object at 0x101a1da90>
>>> 3 in li
True
>>> 3 in li
False
複製代碼

由於 li 是列表迭代器，第一次查找 3 的時候，找到了，因此返回 True，可是因爲第一次迭代，已經跳過了 3 那個元素，第二次就找不到了，因此會出現 False。

所以，記得迭代器是「一次性」的。

固然，列表是可迭代對象，無論查找幾回都是正常的。（很差理解的話，想一想上面 for 語句的執行原理，每次都會從可迭代對象那經過 iter() 方法取到新的迭代器）

>>> 3 in l
True
>>> 3 in l
True
複製代碼

7 小節

• 實現了迭代器協議的對象都是迭代器
• 實現了 __iter__() 方法並返回迭代器的對象是可迭代對象
• 生成器也是一種迭代器
• 建立迭代器有三種方式，生成器表達式、生成器函數、自定義類，看狀況選擇最簡單的就好
• 迭代器同時也是可迭代對象
• 迭代器是「一次性」的

前面 3 小項是重點，這 3 點理解了，其它的也都能領會。搞清楚標題的那幾個名詞的概念的天然也沒有問題。

8 參考

• docs.python.org/3/library/s…
• opensource.com/article/18/…
• treyhunner.com/2018/06/how…

本文首發於公衆號「小小後端」，關注並回復「HMPython2018」領取 18 年很讚的 Python 學習教程。