迭代器、生成器、面向過程編程

1.迭代器

1.1 迭代的概念

#迭代是一個重複的過程，每次重複即一次迭代，而且每次迭代的結果都是下一次迭代的初始值
while True: #只是單純地重複，於是不是迭代
    print('===>') 
    
l=[1,2,3]
count=0
while count < len(l): #迭代
    print(l[count])
    count+=1

1.2爲什麼要有迭代器？什麼是可迭代對象？什麼是迭代器對象？

#一、爲什麼要有迭代器？
對於序列類型：字符串、列表、元組，咱們可使用索引的方式迭代取出其包含的元素。但對於字典、集合、文件等類型是沒有索引的，若還想取出其內部包含的元素，則必須找出一種不依賴於索引的迭代方式，這就是迭代器

#二、什麼是可迭代對象？
可迭代對象指的是內置有__iter__方法的對象，即obj.__iter__，以下
'hello'.__iter__
(1,2,3).__iter__
[1,2,3].__iter__
{'a':1}.__iter__
{'a','b'}.__iter__
open('a.txt').__iter__

#三、什麼是迭代器對象？
可迭代對象執行obj.__iter__()獲得的結果就是迭代器對象
而迭代器對象指的是即內置有__iter__又內置有__next__方法的對象

文件類型是迭代器對象
open('a.txt').__iter__()
open('a.txt').__next__()


#四、注意：
迭代器對象必定是可迭代對象，而可迭代對象不必定是迭代器對象

1.3迭代器對象的使用

dic={'a':1,'b':2,'c':3}
iter_dic=dic.__iter__() #獲得迭代器對象，迭代器對象即有__iter__又有__next__，可是：迭代器.__iter__()獲得的仍然是迭代器自己
iter_dic.__iter__() is iter_dic #True

print(iter_dic.__next__()) #等同於next(iter_dic)
print(iter_dic.__next__()) #等同於next(iter_dic)
print(iter_dic.__next__()) #等同於next(iter_dic)
# print(iter_dic.__next__()) #拋出異常StopIteration，或者說結束標誌

#有了迭代器，咱們就能夠不依賴索引迭代取值了
iter_dic=dic.__iter__()
while 1:
    try:
        k=next(iter_dic)
        print(dic[k])
    except StopIteration:
        break
        
#這麼寫太醜陋了，須要咱們本身捕捉異常，控制next，python這麼牛逼，能不能幫我解決呢？能，請看for循環

1.4for循環

#基於for循環，咱們能夠徹底再也不依賴索引去取值了
dic={'a':1,'b':2,'c':3}
for k in dic:
    print(dic[k])

#for循環的工做原理
#1：執行in後對象的dic.__iter__()方法，獲得一個迭代器對象iter_dic
#2: 執行next(iter_dic),將獲得的值賦值給k,而後執行循環體代碼
#3: 重複過程2，直到捕捉到異常StopIteration,結束循環

1.5迭代器的優缺點

#優勢：
  - 提供一種統一的、不依賴於索引的迭代方式
  - 惰性計算，節省內存
#缺點：
  - 沒法獲取長度（只有在next完畢才知道到底有幾個值）
  - 一次性的，只能日後走，不能往前退

2生成器

2.1什麼是生成器

#只要函數內部包含有yield關鍵字，那麼函數名()的到的結果就是生成器，而且不會執行函數內部代碼

def func():
    print('====>first')
    yield 1
    print('====>second')
    yield 2
    print('====>third')
    yield 3
    print('====>end')

g=func()
print(g) #<generator object func at 0x0000000002184360> 

2.2生成器就是迭代器

g.__iter__
g.__next__
#二、因此生成器就是迭代器，所以能夠這麼取值
res=next(g)
print(res)

2.3練習

一、自定義函數模擬range(1,7,2)

二、模擬管道，實現功能:tail -f access.log | grep '404'

#題目一：
def my_range(start,stop,step=1):
    while start < stop:
        yield start
        start+=step

#執行函數獲得生成器，本質就是迭代器
obj=my_range(1,7,2) #1  3  5
print(next(obj))
print(next(obj))
print(next(obj))
print(next(obj)) #StopIteration

#應用於for循環
for i in my_range(1,7,2):
    print(i)

#題目二
import time
def tail(filepath):
    with open(filepath,'rb') as f:
        f.seek(0,2)
        while True:
            line=f.readline()
            if line:
                yield line
            else:
                time.sleep(0.2)

def grep(pattern,lines):
    for line in lines:
        line=line.decode('utf-8')
        if pattern in line:
            yield line

for line in grep('404',tail('access.log')):
    print(line,end='')

#測試
with open('access.log','a',encoding='utf-8') as f:
    f.write('出錯啦404\n')

2.4協程函數

#yield關鍵字的另一種使用形式：表達式形式的yield
def eater(name):
    print('%s 準備開始吃飯啦' %name)
    food_list=[]
    while True:
        food=yield food_list
        print('%s 吃了 %s' % (name,food))
        food_list.append(food)

g=eater('egon')
g.send(None) #對於表達式形式的yield，在使用時，第一次必須傳None，g.send(None)等同於next(g)
g.send('蒸羊羔')
g.send('蒸鹿茸')
g.send('蒸熊掌')
g.send('燒素鴨')
g.close()
g.send('燒素鵝')
g.send('燒鹿尾')

2.5練習

一、編寫裝飾器，實現初始化協程函數的功能

二、實現功能：grep  -rl  'python'  /etc

#題目一：
def init(func):
    def wrapper(*args,**kwargs):
        g=func(*args,**kwargs)
        next(g)
        return g
    return wrapper
@init
def eater(name):
    print('%s 準備開始吃飯啦' %name)
    food_list=[]
    while True:
        food=yield food_list
        print('%s 吃了 %s' % (name,food))
        food_list.append(food)

g=eater('egon')
g.send('蒸羊羔')

#題目二：
#注意：target.send(...)在拿到target的返回值後纔算執行結束
import os
def init(func):
    def wrapper(*args,**kwargs):
        g=func(*args,**kwargs)
        next(g)
        return g
    return wrapper

@init
def search(target):
    while True:
        filepath=yield
        g=os.walk(filepath)
        for dirname,_,files in g:
            for file in files:
                abs_path=r'%s\%s' %(dirname,file)
                target.send(abs_path)
@init
def opener(target):
    while True:
        abs_path=yield
        with open(abs_path,'rb') as f:
            target.send((f,abs_path))
@init
def cat(target):
    while True:
        f,abs_path=yield
        for line in f:
            res=target.send((line,abs_path))
            if res:
                break
@init
def grep(pattern,target):
    tag=False
    while True:
        line,abs_path=yield tag
        tag=False
        if pattern.encode('utf-8') in line:
            target.send(abs_path)
            tag=True
@init
def printer():
    while True:
        abs_path=yield
        print(abs_path)


g=search(opener(cat(grep('你好',printer()))))
# g.send(r'E:\CMS\aaa\db')
g=search(opener(cat(grep('python',printer()))))
g.send(r'E:\CMS\aaa\db')

2.6yield總結

#一、把函數作成迭代器
#二、對比return，能夠返回屢次值，能夠掛起/保存函數的運行狀態

3.面向過程編程

#一、首先強調：面向過程編程絕對不是用函數編程這麼簡單，面向過程是一種編程思路、思想，而編程思路是不依賴於具體的語言或語法的。言外之意是即便咱們不依賴於函數，也能夠基於面向過程的思想編寫程序

#二、定義
面向過程的核心是過程二字，過程指的是解決問題的步驟，即先幹什麼再幹什麼

基於面向過程設計程序就比如在設計一條流水線，是一種機械式的思惟方式

#三、優勢：複雜的問題流程化，進而簡單化

#四、缺點：可擴展性差，修改流水線的任意一個階段，都會牽一髮而動全身

#五、應用：擴展性要求不高的場景，典型案例如linux內核，git，httpd

#六、舉例
流水線1：
用戶輸入用戶名、密碼--->用戶驗證--->歡迎界面

流水線2：
用戶輸入sql--->sql解析--->執行功能

 ps：函數的參數傳入，是函數吃進去的食物，而函數return的返回值，是函數拉出來的結果，面向過程的思路就是，把程序的執行當作一串首尾相連的功能，該功能能夠是函數的形式，而後一個函數吃，拉出的東西給另一個函數吃，另一個函數吃了再繼續拉給下一個函數吃。。。