python3.x 多路IO複用補充asyncio

asyncio模塊是python之父寫的模塊,按說應該是靠譜的,python3.6版本定義爲穩定版本。html

說明書:https://docs.python.org/3/library/asyncio.html?highlight=asyncio#module-asynciopython

大概定義:該模塊提供了使用協程編寫單線程併發代碼,經過套接字和其餘資源複用I​​ / O訪問,運行網絡客戶端和服務器以及其餘相關原語的基礎結構。數據庫

簡單應用(基於wsgi的報警器)json

 1 #!/usr/bin/env python
 2 # -*- coding: utf-8 -*-
 3 # @Time    : 2018/8/21 10:40
 4 # @Author  : WangYue
 5 # @Site    : 
 6 # @File    : alertor_uwsgi.py
 7 # @Software: PyCharm
 8 
 9 #加入環境變量避免程序報錯
10 import sys,os
11 sys.path.append(os.path.dirname(os.path.dirname(__file__)))
12 
13 #引入wsgi模型,這裏主要是弄一個簡單的http模型來講明asyncio的簡單使用
14 from wsgiref.simple_server import make_server
15 
16 #引入asyncio
17 import asyncio
18 
19 #引入其餘可能的依賴
20 from threading import Thread
21 import json
22 
23 #引入本程序其餘的內容,與asyncio無關是程序業務的其餘部分
24 from conf.alertor_conf import ALERTOR_CONFIG
25 from model.alert_method_class import SendMail
26 
27 #定義一個運行asyncio loop 的線程,去單獨運行它
28 def start_loop(loop):
29     asyncio.set_event_loop(loop)
30     loop.run_forever()
31 new_loop = asyncio.new_event_loop() #這個new_loop將會用於運行異步程序
32 t = Thread(target=start_loop, args=(new_loop,))
33 t.start() #利用多線程,額外起一個線程運行asyncio loop而後它在自身使用協程之類處異步處理業務
34 
35 
36 #這是wsgi主業務程序,application是wsgi的入口程序,wsgi就規定了這麼個函數名,這樣寫wsgi就承認它是入口了。傳參也是wsgi的規定,第一個是環境,第二個是響應
37 def application(env,start_res):
38     res_headers=[('Content-type', 'text/plain')]
39     if env["REQUEST_METHOD"]=='POST':
40         # the environment variable CONTENT_LENGTH may be empty or missing
41         try:
42             if env['PATH_INFO'] != "/send_alert":
43                 status = "404 func is not in use"
44                 start_res(status, res_headers)
45                 return [b"func is not in use"]
46 
47             request_body_size = int(env.get('CONTENT_LENGTH', 0))
48             status = "200 OK"
49             request_body = env['wsgi.input'].read(request_body_size)
50             print("post_info -->", request_body.decode())
51             r_body=json.loads(request_body.decode())
52             #就這裏一行代碼,new_loop.call_soon_threadsafe(),告訴asyncio去運行第一個參數的函數名,後邊的參數是被運行函數的傳參,有多少就傳參多少個,這是異步的,非阻塞的。
53             new_loop.call_soon_threadsafe(SendMail.sendEmail,"Alertor Alarm level:"+r_body["level"]+"  server: "+r_body["server"],r_body)
54             start_res(status,res_headers)
55             return [b"ok send alert......."]
56         except (ValueError):
57             status = "404 json data not found key"
58             request_body_size = 0
59             start_res(status, res_headers)
60             return [b"get post info faild"]
61 
62     else:
63         status = "403 method error"
64         start_res(status,res_headers)
65         return [b'method error']
66 
67 # 一、只接受POST請求。數據爲json格式,json中標記的,包括但不限於,包括的信息將會入庫,其餘信息,在告警時會一併發出
68 # {
69 #     "level":"high", #告警級別,"high","medium","info",這個能夠在配置文件中配置,配置信息是個列表,有序的從左至右爲["high","medium","info"],對應後續告警邏輯及post中json的本字段。
70 #     "@timestamp":"",#告警時間
71 #     "server":"",#告警源,能夠是ip,主機名,服務名等可標識的
72 #     "message":""#具體的告警信息
73 # }
74 # 二、根據json中的level自動選擇告警途徑,選擇方式,在配置文件中的alert_method字典信息
75 # 三、將告警內容,存儲數據庫,便於往後查詢
76 # 四、後續提供查詢統計告警信息的方法
77 
78 
79 if __name__=="__main__":
80     wsgi_server=make_server(ALERTOR_CONFIG['bind_ip'],ALERTOR_CONFIG['port'],application)
81 
82     wsgi_server.serve_forever()

目前這裏先這麼用,這個模型的性能是基於uwsgi運行,2進程,每一個進程內4個線程,基準性能是15000請求總量,5000客戶端服務器

 ab -n 15000-c 5000 -p test_alert.txt -T application/x-www-form-urlencoded "http://test.alert.com.cn/test.html"網絡

效果還湊合吧。多線程

相關文章
相關標籤/搜索