Python中的三個」黑魔法「與」騷操做「

本文主要介紹Python的高級特性：列表推導式、迭代器和生成器，是面試中常常會被問到的特性。由於生成器實現了迭代器協議，可由列表推導式來生成，全部，這三個概念做爲一章來介紹，是最便於你們理解的，如今看不懂不要緊，下面我不只是會讓你們知其然，重要的更是要知其因此然。

列表推導式

前幾天有個HR讓我談談列表推導式，我說這我常常用，就是用舊的列表生成一個新的列表的公式，他直接就把我拒了，讓我回去複習一下，挺受打擊的，因此決定也幫助你們回顧一下。

內容

• 列表推導式：舊的列表->新的列表
• 瞭解：字典推導式 集合推導式

1.列表推導式：

格式 [表達式 for 變量 in 舊列表]
或 [表達式 for 變量 in 舊列表 if 條件]
例1：生成名字長度大於3且首字母大寫的新列表。

names_old = ['tom', 'amy', 'daming', 'lingling']
names_new = [name.capitalize() for name in names_old if len(name) > 3]
print(names_new)
複製代碼

輸出：

['Daming', 'Lingling']
複製代碼

例2： （大廠初級筆試題目）生成一個元組列表，要求每一個元素爲(0-5偶數, 0-10奇數)形式。輸出結果爲：

[(0, 1), (0, 3), (0, 5), (0, 7), (0, 9), (2, 1), (2, 3), (2, 5), (2, 7), (2, 9), (4, 1), (4, 3), (4, 5), (4, 7), (4, 9)]
複製代碼

for循環實現代碼：

new_list = list()
for i in range(5):  # 偶數
    if i % 2 == 0:
        for j in range(10):  # 奇數
            if j % 2 != 0:
                new_list.append((i, j))
複製代碼

列表推導式代碼：

new_list = [(i, j) for i in range(5) for j in range(10) if i % 2 == 0 and j % 2 != 0]
複製代碼

例3：（大廠初級筆試題目）給出一個員工列表：

employees_old = [{'name': "tmo", "salary": 4800},
                 {'name': "amy", "salary": 3800},
                 {'name': "daming", "salary": 7000},
                 {'name': "lingling", "salary": 5600}] 
複製代碼

若是員工薪資大於5000則加200，不然加500，輸出新的員工列表。
列表推導式：

employees_new = [employee['salary'] + 200 if employee['salary'] > 5000 else employee['salary'] + 500 for employee in employees_old]
print(employees_new)
複製代碼

輸出：

[5300, 4300, 7200, 5800]
複製代碼

發現結果是員工薪資列表，回過頭看一下代碼，確實是把獲得的數字給了列表，那要返回員工列表要怎麼實現呢？讓咱們用普通for循環的方式來進行一下對比：

for employee in employees_old:
    if employee['salary'] > 5000:
        employee['salary'] += 200
    else:
        employee['salary'] += 500

print(employees_old)
複製代碼

輸出：

[{'name': 'tmo', 'salary': 5300}, {'name': 'amy', 'salary': 4300}, {'name': 'daming', 'salary': 7200}, {'name': 'lingling', 'salary': 5800}]
複製代碼

沒錯，咱們注意到二者的差異了，列表推導式咱們少了一步賦值（在字典元素上進行賦值），不能直接返回一個薪資數值而是一個員工字典給列表。正確的列表推導式以下：

employees_new = [
    {'name': employee['name'], 'salary': employee['salary'] + 200} if employee['salary'] > 5000 else
    {'name': employee['name'], 'salary': employee['salary'] + 500} for employee in employees_old]

print(employees_new)
複製代碼

2.字典推導式：

例1：

dict_old = {'a': 'A', 'b': 'B', 'c': 'C', 'd': 'C'}
dict_new = {value: key for key, value in dict_old.items()}
print(dict_new)
複製代碼

輸出：

{'A': 'a', 'B': 'b', 'C': 'd'}
複製代碼

3.集合推導式：

相似列表推導式 典型用法：去重
例1：

list_old = [1, 2, 3, 5, 2, 3]
set_new = {x for x in list_old}
print(set_new)
複製代碼

輸出：

{1, 2 ,3, 5}
複製代碼

小結：

到目前爲止，列表推導式不就是一個用來建立列表的式子麼？除了能夠簡化代碼，裝裝X？其實，列表推導式還有另外一個優勢是相比於for循環更高效，由於列表推導式在執行時調用的是Python的底層C代碼，而for循環則是用Python代碼來執行。嗷~面試官最想聽到的，是第二點。

迭代器

因爲迭代器協議對不少人來講，是一個較爲抽象的概念，並且生成器自動實現了迭代器協議，因此咱們須要先講解一下迭代器協議的概念，也是爲了更好的理解接下來的生成器。

概念

能夠被next()函數調用並不斷返回下一個值的對象稱爲迭代器：Iterator。
迭代是訪問集合元素的一種方式，迭代器是一個能夠記住遍歷位置的對象。迭代器對象從集合的第一個元素開始訪問，直到全部元素被訪問完結束。
迭代器只能往前不能後退。

• 迭代器協議：是指對象須要提供__next__()方法，它要麼返回迭代中的下一項，要麼就引發一個StopIteration異常，以終止迭代。
• 可迭代對象：就是實現了迭代器協議的對象。

舉個例子，對Python稍微熟悉一點的朋友應該知道，Python的for循環不但能夠用來遍歷list，還能夠用來遍歷文件對象，以下所示：

with open('F:/test/test.txt') as f:
    for line in f:
        print(line)
複製代碼

爲何在Python中，文件還可使用for循環進行遍歷呢？這是由於，在Python中，文件對象實現了迭代器協議，for循環並不知道它遍歷的是一個文件對象，它只管使用迭代器協議訪問對象便可。正是因爲Python的文件對象實現了迭代器協議，咱們才得以使用如此方便的方式訪問文件，以下所示：

with open('F:/test/test.txt') as f:
    print(dir(f))
複製代碼

輸出：

['__class__', '__del__', '__dict__', '__dir__', '__init__', '__iter__', '__next__', 'closed', 'line_buffering', 'newlines', 'read', 'readline'......]     
複製代碼

可迭代的是否是確定就是迭代器？

• 生成器是可迭代的，也是迭代器。
• list是可迭代的，但不是迭代器。list能夠藉助iter()函數將可迭代的變成迭代器list->iter(list)->迭代器next()：

  

可迭代對象：

1. 生成器
2. 元組 列表 集合 字典 字符串

如何判斷一個對象是不是可迭代？

藉助isinstance()函數：

from collections import Iterable

print(isinstance([x for x in range(10)], Iterable))  # 列表
print(isinstance('hello world', Iterable))  # 字符串
print(isinstance(100, Iterable))  # 數字
print(isinstance((x for x in range(10)), Iterable))  # 迭代器
複製代碼

輸出：

True
True
False
True
複製代碼

生成器

生成器是Python最有用的特性之一，也是使用的最不普遍的Python特性之一。究其緣由，主要是由於，在其餘主流語言裏面沒有生成器的概念。正是因爲生成器是一個「新」的東西，因此，它一方面沒有引發廣大工程師的重視，另外一方面，也增長了工程師的學習成本，最終致使你們錯過了Python中如此有用的一個特性。

概念

咱們已經知道，經過列表推導式能夠直接建立一個列表，可是，受到內存限制，列表容量確定是有限的。並且，建立一個包含100萬個元素的列表，不只佔用很大的存儲空間，若是咱們僅僅須要訪問前面那幾個元素，那後面絕大多數元素佔用的空間都白白浪費了。因此，若是列表元素能夠按照某種算法在循環的過程當中不斷推算出後續的元素，這樣既沒必要建立完整的list，從而還能夠節省大量的空間。在Python中，這種一邊循環一邊計算的機制，稱爲生成器:generator。
Python使用生成器對延遲操做提供了支持。所謂延遲操做，是指在須要的時候才產生結果，而不是當即產生結果。這也是生成器的主要好處。

定義生成器

Python有兩種不一樣的方式提供生成器：

方法一：藉助列表推導式

生成器表達式：相似於列表推導（這也就是爲何第一節我要先介紹列表推導式），可是，生成器返回按需產生結果的一個對象，而不是一次構建一個結果列表。
例1：

my_generator = (x for x in range(5))  # 注意是()不是[]
print(my_generator)  # 發現不能打印出元素
print(type(my_generator))
print(my_generator.__next__())  # 三種獲得元素的方法，注意看輸出結果
print(next(my_generator))
for i in my_generator:
    print(i)

# 注意會拋出StopIteration異常
# print(next(my_generator))  
print(next(my_generator))   # generator只能遍歷一次
複製代碼

輸出：

Traceback (most recent call last):
  File "E:/pycharm/Leetcode/RL_Learning/printdata.py", line 11, in <module>
    print(next(my_generator))
StopIteration
<generator object <genexpr> at 0x0000000000513660>
<class 'generator'>
0
1
2
3
4
複製代碼

方法二：藉助函數

生成器函數：使用yield語句而不是return語句返回函數結果。yield語句一次返回一個結果，在每一個結果中間，掛起函數的狀態，起到暫停的做用，以便下次從它離開的地方繼續執行。

步驟：

1. 定義函數，函數返回使用yield關鍵字；
2. 調用函數，接收函數返回值；
3. 獲得的返回結果就是生成器；
4. 藉助next()或__nest__()獲得想要的元素。

例2：你的函數裏面只要出現了yield關鍵字，你的函數就再也不是函數了，就變成生成器了：

# 斐波那契數列：
def fib(length):    # 1. 定義函數
    a, b = 0, 1
    n = 0
    while n < length:
        n += 1
        yield b         # return b + 暫停
        a, b = b, a + b


g = fib(5)     # 2. 調用函數
print(g)     # 3. 返回的就是生成器
print(next(g))     # 4. 藉助`next()`或`__nest__()`獲得想要的元素
print(next(g))    # 每調用一次產生一個值
print(next(g))
print(g.__next__())
print(g.__next__())
複製代碼

輸出：

<generator object fib at 0x0000000001DDDFC0>
1
1
2
3
5
複製代碼

注意：生成器只能遍歷一次。
當調用函數的時候，並無進函數進行執行，而是直接生成一個生成器，當調用next的時候，才進入函數真正開始執行，除了第一次調用next（）方法是從函數頭開始執行，其他每次都是接着從上次執行到yield的地方接着執行的。

小結：

使用生成器之後，代碼行數更少。你們要記住，若是想把代碼寫的Pythonic，在保證代碼可讀性的前提下，代碼行數越少越好。
合理使用生成器，可以有效提升代碼可讀性。只要你們徹底接受了生成器的概念，理解了yield語句和return語句同樣，也是返回一個值。那麼，就可以理解爲何使用生成器比不使用生成器要好，可以理解使用生成器真的可讓代碼變得清晰易懂。
在實際工做中，充分利用Python生成器，不但可以減小內存使用，還可以提升代碼可讀性。掌握生成器也是Python高手的標配。 若是本文對你有幫助，不要忘記關注點贊或收藏支持一下~

更多幹貨（必備技能）：
從原理到實戰，完全搞懂Nginx
從原理到實戰，完全搞懂Nginx（高級篇）
Kafka概述，深刻理解架構