Python的Gevent框架的多進程模式

時間 2019-11-21

標籤 python gevent 框架進程模式欄目 Python 简体版

原文原文鏈接

Gevent框架性能很高，但一直以來我都糾結在python的GIL模型致使的線程不能搶佔多核資源上面。前端

而啓動多個python進程的這種利用多核的模式又須要增長前端負載均衡，好比lvs那些，有些麻煩。python

multiprocessing模塊和os.fork又會使得兩個進程重複在事件核心註冊accept事件，致使文件句柄重複的異常。網絡

至於一個進程監聽，多個進程處理的模式，監聽的那個進程資源又很差分配——是獨立分配一個核心仍是不單獨分配呢？若是單獨分配，鏈接量小的時候就浪費了一個核心，若是不分配，鏈接量大的時候cpu又會頻繁切換進程。負載均衡

昨日才發現原來gevent是能夠很輕鬆地將它的網絡模型分佈到多個進程並行處理的。框架

祕訣就在gevent.fork()。socket

之前想固然地認爲gevent.fork只是greenlet.spawn的一個包裝，原來不是這樣。gevent.fork能替代os.fork，不只會啓動一個新的進程，並且能將它們底層的事件處理溝通起來，進行並行處理。性能

 
      01 
      import gevent 
     
      02 
      from gevent.server import StreamServer 
     
      03 
        
      04 
      def eat_cpu(): 
     
      05 
          for i in xrange(10000): pass 
     
      06 
        
      07 
      def cb(socket, address): 
     
      08 
          eat_cpu() 
     
      09 
          socket.recv(1024) 
     
      10 
          socket.sendall('HTTP/1.1 200 OK\n\nHello World!!') 
     
      11 
          socket.close() 
     
      12 
        
      13 
      server = StreamServer(('',80), cb, backlog=100000) 
     
      14 
      server.pre_start() 
     
      15 
        
      16 
      gevent.fork() 
     
      17 
        
      18 
      server.start_accepting() 
     
      19 
      server._stopped_event.wait()

打上monkey.patch_os後，os.fork就能夠被gevent.fork替代了，這樣同時multiprocessing模塊也能夠像往常同樣使用，並達到並行處理的效果了。測試

 
      01 
      from gevent import monkey; monkey.patch_os() 
     
      02 
      from gevent.server import StreamServer 
     
      03 
      from multiprocessing import Process 
     
      04 
        
      05 
      def eat_cpu(): 
     
      06 
          for i in xrange(10000): pass 
     
      07 
        
      08 
      def cb(socket, address): 
     
      09 
          eat_cpu() 
     
      10 
          socket.recv(1024) 
     
      11 
          socket.sendall('HTTP/1.1 200 OK\n\nHello World!!') 
     
      12 
          socket.close() 
     
      13 
        
      14 
      server = StreamServer(('',80), cb, backlog=100000) 
     
      15 
      server.pre_start() 
     
      16 
        
      17 
      def serve_forever(): 
     
      18 
          server.start_accepting() 
     
      19 
          server._stopped_event.wait() 
     
      20 
        
      21 
      process_count = 4 
     
      22 
        
      23 
      for i in range(process_count - 1): 
     
      24 
          Process(target=serve_forever, args=tuple()).start() 
     
      25 
        
      26 
      serve_forever()