Python基礎之使用期物處理併發

導語：本文章記錄了本人在學習Python基礎之控制流程篇的重點知識及我的心得，打算入門Python的朋友們能夠來一塊兒學習並交流。

本文重點：

一、掌握異步編程的相關概念；
二、瞭解期物future的概念、意義和使用方法；
三、瞭解Python中的阻塞型I/O函數釋放GIL的特色。

1、異步編程相關概念

阻塞：程序未獲得所需計算資源時被掛起的狀態。換句話說，程序在等待某個操做完成期間，自身沒法繼續幹別的事情，則稱該程序在該操做上是阻塞的。
併發：描述的是程序的組織結構。指程序要被設計成多個可獨立執行的子任務。併發以利用有限的計算機資源使多個任務能夠被實時或近實時執行爲目的。
並行：指的是多任務同時執行的程序狀態，以利用多核CPU加速完成多任務爲目的。
異步：爲完成某個任務，不一樣程序單元之間過程當中無需通訊協調，也能完成任務的方式。
不相關的程序單元之間能夠是異步的。簡言之，異步意味着無序。
異步編程：以進程、線程、協程、函數/方法做爲執行任務的基本單位，結合回調，事件循環、信號量等機制，以提升總體執行效率和併發能力的編程方式。

2、期物

就下載國旗爲目標實現的三個客戶端中，兩個HTTP併發客戶端比依序下載的腳本性能高不少。
由此說明使用併發能夠高效處理網絡I/O。

期物(future)指一種對象，表示異步執行的操做。
期物對象：concurrent.futures.Future或asyncio.Future類的實例。
三大方法：

• Executor.submit()：建立期物。
• concurrent.futures.as_completed()：迭代運行結束的期物，返回一個迭代器。
• Executor.map(): 處理參數不一樣的同一個可調用對象。

小結：Executor.submit()加futures.as_completed()的組合比Executor.map()更靈活，由於submit()能處理不一樣的可調用對象和參數。

concurrent.futures模塊的主要特點是ThreadPoolExecutor和ProcessPoolExecutor類，這兩個類實現的接口能分別在不一樣的線程或進程中執行可調用的對象。
注意：一般狀況下本身不該該建立期物，而只能由併發框架(concurrent.futures或asyncio)實例化。

實例：concurrent.futures模塊應用

from concurrent import futures

from flags import save_flag, get_flag, show, main 

MAX_WORKERS = 20

def download_one(cc): 
    image = get_flag(cc)
    show(cc)
    save_flag(image, cc.lower() + '.gif')
    return cc

def download_many(cc_list):
    workers = min(MAX_WORKERS, len(cc_list))  
    with futures.ThreadPoolExecutor(workers) as executor: 
        res = executor.map(download_one, sorted(cc_list))  

    return len(list(res))

if __name__ == '__main__':
    main(download_many)

3、阻塞性I/O與GIL

Python標準庫中全部阻塞型I/O函數都會釋放全局解釋器鎖（GIL），容許其餘線程運行。
所以儘管有GIL，Python線程仍然適合在I/O密集型系統使用。

4、線程和多進程的替代方案

• 對CPU密集型工做來講，要啓動多個進程，規避GIL。
• 建立多進程最簡單的方式是使用futures.ProcessPoolExecutor類。
• threading和multiprocessing模塊：是Python中多線程和多進程併發的低層實現。