Python迭代和解析(1)：列表解析

解析、迭代和生成系列文章：http://www.javashuo.com/article/p-aspbesnv-du.html

---

Python中的解析

Python支持各類解析(comprehension)操做，好比列表解析、集合解析、元組解析、字典解析。它們根據某些元素來建立(推導)出一個新的列表、集合、元組、字典等。因此有的地方也稱爲推導，好比列表推導、集合推導等。

下面是一個列表解析的示例：

>>> [ i*2 for i in range(10) if i % 2 == 0 ]
[0, 4, 8, 12, 16]

這裏是列表解析，由於使用的中括號[ xxxx ]，它表示根據條件推導出一個新的列表。Python中幾種內置類型的解析規則爲：

• 若是使用的是中括號，表示列表解析
  
• 若是使用的是大括號，表示集合解析
  
• 若是使用的是大括號，且裏面的元素是key:value模式，表示字典解析

注意：若是使用的是括號，表示的是生成器表達式，而不是解析。

例如：

# 集合解析
>>> { i*2 for i in "abcd"}
{'aa', 'cc', 'dd', 'bb'}

# 字典解析
>>> { k:v for k,v in zip(("one","two","three"),(1,2,3)) }
{'one': 1, 'two': 2, 'three': 3}
>>> { k: k*2 for k in "abcd" }
{'a': 'aa', 'b': 'bb', 'c': 'cc', 'd': 'dd'}

Python中還有其它解析模式，稍後會解釋。

數學概念中的解析

參考：https://en.wikipedia.org/wiki/List_comprehension

計算機語言中的解析來自於數學概念中的集合描述(對應於集合解析)。以下圖：

將此與下面的列表解析進行對應：

[ i * 2 for i in range(10) if i % 2 == 0 ]

其中：

• x ∈ N表示的是裝元素的容器，這個容器裏的元素是解析時被迭代的對象
  • 這對應於列表解析中的range(10)，對於Python來講，只要是可迭代的數據對象，均可以做爲元素的提供容器
    
• x是變量，是容器中的元素
  • 對應於列表解析中的i
    
• x² > 3表示的是謂詞，是可選的條件判斷式，用來篩選解析過程當中的符合條件的元素
  • 這對應於列表解析中的if i % 2 == 0，注意，謂詞部分是可選的
    
• 2 * x表示的是外部表達式，用來生成新的列表/集合/字典/元組中的元素
  • 對應於列表解析中的i * 2
    
• {}意味着外部表達式的元素所存放的容器是集合容器
  • 對應於列表解析中的[]，表示新生成的元素是列表中的元素

解析操做是如何工做的

Python中的解析操做經常使用來生成各類數據容器，且生成的效率很是高，它在底層徹底是以C的方式運行的。

在瞭解了數學中集合描述和解析的對應方式後，要理解解析的工做方式很簡單，以列表解析爲例。

首先用迭代工具for對容器中的元素進行迭代，每一個元素都通過謂詞進行篩選，對符合條件的元素執行外部表達式，每一個外部表達式都生成一個新的元素，而後做爲新列表的一個元素，從而推導出一個新的列表。

解析是一個表達式，在後面的文章中還會看到大部分解析能夠寫成等價的函數map、filter等函數式，但解析的邏輯要更清晰且更簡潔。

與解析操做等價的普通循環

python中的解析行爲由for這個迭代工具來迭代，它和普通的for循環邏輯同樣，但用法稍有不一樣。從前面的示例中也能夠看出解析操做的外部表達式部分在for關鍵字的前面，而普通for循環的表達式則是在for關鍵字後面。

解析操做也能由普通的循環來生成。例如：

# for循環實現列表解析操做
L1 = []
for i in range(10):
  if i % 2 == 0 :
    L1.append(i * 2)


# 列表解析
L2 = [ i * 2 for i in range(10) if i % 2 == 0 ]

print(L1)
print(L2)

結果：

[0, 4, 8, 12, 16]
[0, 4, 8, 12, 16]

並且，解析操做比普通的for循環運行速度更快，解析操做在Python解釋器中是徹底使用C來運行的，而普通for循環則是在python VM中經過步進的方式運行的。通常來講，解析操做和map函數速度差很少(解釋器中都是C的運行方式)，它們都要比普通for快上1-2倍。特別是要生成的元素較多時，解析操做每每要比等價的普通循環快上一倍多。

用解析來操做文件

對於open()打開的文件，有一個readlines()函數能夠將全部行讀取到一個列表中，每一行都是這個列表中的一個元素。

如下是文件a.txt的文件內容：

first line
second line
third line

經過readlines()讀取a.txt：

>>> f = open('a.txt')
>>> lines = f.readlines()
>>> lines
['first line\n', 'second line\n', 'third line\n']

這裏每個元素都包含了尾隨換行符\n，這在編程時是很是使人厭惡的，由於很差控制是否是要本身添加一個換行符。因此，每每會對每一行都執行一個去除尾隨換行符的操做，這能夠經過列表解析來執行：

>>> lines = [ line.rstrip() for line in lines ]
>>> lines
['first line', 'second line', 'third line']

實際上，open()打開的文件對象是一個可迭代對象，能夠直接進行迭代，因此也能夠直接用於解析操做：

>>> lines = [line.rstrip() for line in open('a.txt')]
>>> lines
['first line', 'second line', 'third line']

看上去真的很簡潔，並且很簡單很方便，實際上這也很高效。

嵌套的解析

解析操做能夠變得更加複雜，好比能夠進行for嵌套。

>>> [x + y for x in "abcd" for y in "ABCD"]
['aA', 'aB', 'aC', 'aD', 'bA', 'bB', 'bC', 'bD', 'cA', 'cB', 'cC', 'cD', 'dA', 'dB', 'dC', 'dD']

它等價於：

L = []
for x in "abcd":
  for y in "ABCD":
    L.append(x + y)

for嵌套的時候，每個for中用於篩選元素的if語句都是可選的。

例如，下面的嵌套for解析中，使用偶數和奇數的組合：

>>> [ (x,y) for x in range(5) if x % 2 == 0 for y in range(5) if y % 2 ==1 ]
[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]

這個解析表達式等價於：

>>> L = []
>>> for x in range(5):
...     if x % 2 == 0:
...         for y in range(5):
...             if y % 2 == 1:
...                 L.append((x, y))

[(0, 1), (0, 3), (2, 1), (2, 3), (4, 1), (4, 3)]