IO多路複用，SocketServer模塊，twisted源碼，線程進程協程的解釋與方法。

時間 2019-11-24

標籤多路 socketserver 模塊 twisted 源碼線程進程解釋方法简体版

原文原文鏈接

IO多路複用：python

　　　經過一種機制，能夠監視多個描述符，一旦某個描述符就緒（通常是讀就緒或者寫就緒），可以通知程序進行相應的讀寫操做。程序員

　　　　Linux中的 select，poll，epoll 都是IO多路複用的機制。算法

　　　　select

　　　　select最先於1983年出如今4.2BSD中，它經過一個select()系統調用來監視多個文件描述符的數組，當select()返回後，該數組中就緒的文件描述符便會被內核修改標誌位，使得進程能夠得到這些文件描述符　　　　從而進行後續的讀寫操做。
　　　　select目前幾乎在全部的平臺上支持，其良好跨平臺支持也是它的一個優勢，事實上從如今看來，這也是它所剩很少的優勢之一。
　　　　select的一個缺點在於單個進程可以監視的文件描述符的數量存在最大限制，在Linux上通常爲1024，不過能夠經過修改宏定義甚至從新編譯內核的方式提高這一限制。
　　　　另外，select()所維護的存儲大量文件描述符的數據結構，隨着文件描述符數量的增大，其複製的開銷也線性增加。同時，因爲網絡響應時間的延遲使得大量TCP鏈接處於非活躍狀態，但調用select()會對全部　　　　socket進行一次線性掃描，因此這也浪費了必定的開銷。

　　　　poll

　　　　poll在1986年誕生於System V Release 3，它和select在本質上沒有多大差異，可是poll沒有最大文件描述符數量的限制。
　　　　poll和select一樣存在一個缺點就是，包含大量文件描述符的數組被總體複製於用戶態和內核的地址空間之間，而不論這些文件描述符是否就緒，它的開銷隨着文件描述符數量的增長而線性增大。
　　　　另外，select()和poll()將就緒的文件描述符告訴進程後，若是進程沒有對其進行IO操做，那麼下次調用select()和poll()的時候將再次報告這些文件描述符，因此它們通常不會丟失就緒的消息，這種方式稱爲水　　　　平觸發（Level Triggered）。

　　　　epoll

　　　　直到Linux2.6纔出現了由內核直接支持的實現方法，那就是epoll，它幾乎具有了以前所說的一切優勢，被公認爲Linux2.6下性能最好的多路I/O就緒通知方法。
　　　　epoll能夠同時支持水平觸發和邊緣觸發（Edge Triggered，只告訴進程哪些文件描述符剛剛變爲就緒狀態，它只說一遍，若是咱們沒有采起行動，那麼它將不會再次告知，這種方式稱爲邊緣觸發），理論上邊　　　　緣觸發的性能要更高一些，可是代碼實現至關複雜。
　　　　epoll一樣只告知那些就緒的文件描述符，並且當咱們調用epoll_wait()得到就緒文件描述符時，返回的不是實際的描述符，而是一個表明就緒描述符數量的值，你只須要去epoll指定的一個數組中依次取得相應　　　　數量的文件描述符便可，這裏也使用了內存映射（mmap）技術，這樣便完全省掉了這些文件描述符在系統調用時複製的開銷。
　　　　另外一個本質的改進在於epoll採用基於事件的就緒通知方式。在select/poll中，進程只有在調用必定的方法後，內核纔對全部監視的文件描述符進行掃描，而epoll事先經過epoll_ctl()來註冊一個文件描述符，一　　　　旦基於某個文件描述符就緒時，內核會採用相似callback的回調機制，迅速激活這個文件描述符，當進程調用epoll_wait()時便獲得通知。windows

Python中有一個select模塊，其中提供了：select、poll、epoll三個方法，分別調用系統的 select，poll，epoll 從而實現IO多路複用。數組

　　　　（網絡操做、文件操做、終端操做等均屬於IO操做，對於windows只支持Socket操做，其餘系統支持其餘IO操做，可是沒法檢測普通文件操做自動上次讀取是否已經變化。）網絡

Python線程

Threading用於提供線程相關的操做，線程是應用程序中工做的最小單元。數據結構

 
         #!/usr/bin/env python 
        
         # -*- coding:utf-8 -*- 
        
         import  
         threading 
        
         import  
         time 
        
         def  
         show(arg): 
        
         time.sleep( 
         1 
         ) 
        
         print  
         'thread' 
         + 
         str 
         (arg) 
        
         for  
         i  
         in  
         range 
         ( 
         10 
         ): 
        
         t  
         =  
         threading.Thread(target 
         = 
         show, args 
         = 
         (i,)) 
        
         t.start() 
        
         print  
         'main thread stop'

上述代碼建立了10個「前臺」線程，而後控制器就交給了CPU，CPU根據指定算法進行調度，分片執行指令。多線程

更多方法：socket

start 線程準備就緒，等待CPU調度
setName 爲線程設置名稱
getName 獲取線程名稱
setDaemon 設置爲後臺線程或前臺線程（默認）
若是是後臺線程，主線程執行過程當中，後臺線程也在進行，主線程執行完畢後，後臺線程不論成功與否，均中止
若是是前臺線程，主線程執行過程當中，前臺線程也在進行，主線程執行完畢後，等待前臺線程也執行完成後，程序中止
join 逐個執行每一個線程，執行完畢後繼續往下執行，該方法使得多線程變得無心義
run 線程被cpu調度後執行Thread類對象的run方法

線程鎖性能

因爲線程之間是進行隨機調度，而且每一個線程可能只執行n條執行以後，CPU接着執行其餘線程。因此，可能出現以下問題：

Python 進程

 
         from  
         multiprocessing  
         import  
         Process 
        
         import  
         threading 
        
         import  
         time 
        
         def  
         foo(i): 
        
         print  
         'say hi' 
         ,i 
        
         for  
         i  
         in  
         range 
         ( 
         10 
         ): 
        
         p  
         =  
         Process(target 
         = 
         foo,args 
         = 
         (i,)) 
        
         p.start()