python 3.x 學習筆記17(協程以及I/O模式)

1.協程（微線程）
協程是一種用戶態的輕量級線程。
協程擁有本身的寄存器上下文和棧。協程調度切換時，將寄存器上下文和棧保存到其餘地方，在切回來的時候，恢復先前保存的寄存器上下文和棧。所以：

協程能保留上一次調用時的狀態（即全部局部狀態的一個特定組合），每次過程重入時，就至關於進入上一次調用的狀態，換種說法：進入上一次離開時所處邏輯流的位置。

2.greenlet模塊
greenlet是一個用C實現的協程模塊，相比與python自帶的yield，它可使你在任意函數之間隨意切換，而不需把這個函數先聲明爲generator

例子

from greenlet import greenlet

def fun1():
    print(6)
    gar2.switch() #轉換到gar2
    print(58)

def fun2():
    print(54)
    gar1.switch()


gar1 = greenlet(fun1) #啓動協程
gar2 = greenlet(fun2)
gar1.switch()

 

3.gevent模塊
gevent 是一個第三方庫，能夠輕鬆經過gevent實現併發同步或異步編程，在gevent中用到的主要模式是Greenlet, 它是以C擴展模塊形式接入Python的輕量級協程。 Greenlet所有運行在主程序操做系統進程的內部，但它們被協做式地調度。

import gevent

def fun1():
    print('第一次運行fun1')
    gevent.sleep(2)           #切換到fun2的gevent.sleep(1)這一步
    print('第二次運行fun1')
def fun2():
    print('第一次運行fun2')
    gevent.sleep(1)            #sleep時間沒到繼續切換到fun3的gevent.sleep(2)
    print('第二次運行fun2')
def fun3():
    print('第一次運行fun3')
    gevent.sleep(2)
    print('第二次運行fun3')

gevent.joinall( [
    gevent.spawn(fun1),
    gevent.spawn(fun2),
    gevent.spawn(fun3)，
])

結果

第一次運行fun1
第一次運行fun2
第一次運行fun3
第二次運行fun2
第二次運行fun1
第二次運行fun3

 

4.gevent默認檢測不了urllib的i/o操做

 

5.要異步操做爬蟲，必須加上monkey.patch_all(),意思是把當前程序的全部的io操做單獨作上標記

如

from urllib import request
import gevent,time
from gevent import monkey
monkey.patch_all() #把當前程序的全部的io操做單獨作上標記
def f(url):
    print('GET%s'%url)
    resp = request.urlopen(url)
    data = resp.read()
    print('%d 數據接收來自%s.' % (len(data), url))
   
start_time = time.time()
gevent.joinall([
    gevent.spawn(f, 'https://www.python.org/'),
    gevent.spawn(f, 'https://www.baidu.com/'),
    gevent.spawn(f, 'https://github.com/'),
])
print('總共時間:',time.time()-start_time)

 

6.事件驅動模型
目前大部分的UI編程都是事件驅動模型，如不少UI平臺都會提供onClick()事件，這個事件就表明鼠標按下事件。事件驅動模型大致思路以下：
　　1）. 有一個事件（消息）隊列；
　　2. 鼠標按下時，往這個隊列中增長一個點擊事件（消息）；
　　3）. 有個循環，不斷從隊列取出事件，根據不一樣的事件，調用不一樣的函數，如onClick()、onKeyDown()等；
　　4）. 事件（消息）通常都各自保存各自的處理函數指針，這樣，每一個消息都有獨立的處理函數；

7.事件驅動編程是一種編程範式，這裏程序的執行流由外部事件來決定。它的特色是包含一個事件循環，當外部事件發生時使用回調機制來觸發相應的處理。另外兩種常見的編程範式是（單線程）同步以及多線程編程。

8.緩存 I/O 

　　緩存 I/O 又被稱做標準 I/O，大多數文件系統的默認 I/O 操做都是緩存 I/O。在 Linux 的緩存 I/O 機制中，操做系統會將 I/O 的數據緩存在文件系統的頁緩存（ page cache ）中，也就是說，數據會先被拷貝到操做系統內核的緩衝區中，而後纔會從操做系統內核的緩衝區拷貝到應用程序的地址空間。

緩存 I/O 的缺點：
　　數據在傳輸過程當中須要在應用程序地址空間和內核進行屢次數據拷貝操做，這些數據拷貝操做所帶來的 CPU 以及內存開銷是很是大的。

註釋：此緩存 I/O 在linux環境下的I/O
詳解：http://www.cnblogs.com/alex3714/articles/5876749.html

9.IO模式

阻塞 I/O（blocking IO）非阻塞 I/O（nonblocking IO）I/O 多路複用（ IO multiplexing）信號驅動 I/O（ signal driven IO）異步 I/O（asynchronous IO）