50.使用Tornado進行網絡異步編程

Tornado

Tornado是一款非阻塞可擴展的使用Python編寫的web服務器和Python Web框架, 能夠使用Tornado編寫Web程序並不依賴任何web服務器直接提供高效的web服務.因此Tornado不單單是一個web框架並且仍是一款能夠用於生產環境的高效的web服務器

Torando 在Linux和FreeBSD上使用高效的異步I/O模型epoll和kqueue來實現高效的web服務器, 因此 tornado在Linux上和FreeBSD系列性能能夠達到最高

接口

固然咱們能夠不單單把Tornado看做是一個web框架和web服務器, 咱們能夠利用Tornado提供的接口進行高效的網絡異步編程,

tornado.ioloop.IOLoop提供了三個接口能夠用於網絡編程:

add_handler

def add_handler(self, fd, handler, events):
    self._handlers[fd] = stack_context.wrap(handler)
    self._impl.register(fd, events | self.ERROR)

add_handler用於添加socket到主循環中, 接受三個參數: fd 是socket的文件描述符 handler 是處理此socket的 callback函數 * events 是此socket註冊的事件

update_handler

def update_handler(self, fd, events):
    self._impl.modify(fd, events | self.ERROR)

update_handler用於更新住循環中已存在的socket響應事件, 接受兩個參數: fd 是socket對應的文件描述符 events 是註冊的新事件

remove_handler

def remove_handler(self, fd):
    self._handlers.pop(fd, None)
    self._events.pop(fd, None)
    try:
        self._impl.unregister(fd)
    except Exception:
        gen_log.debug("Error deleting fd from IOLoop", exc_info=True)

remove_handler用於移除主循環中已存在的socket

事件

tornado.ioloop.IOLoop同時提供了4種響應事件:

事件	描述
tornado.ioloop.IOLoop.NONE	無事件
tornado.ioloop.IOLoop.READ	讀事件
tornado.ioloop.IOLoop.WRITE	寫事件
tornado.ioloop.IOLoop.ERROR	發生錯誤的事件

實例

根據上面的接口和事件咱們就能夠寫出一個簡單的 echo server

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#
#   Author  :   cold
#   E-mail  :   wh_linux@126.com
#   Date    :   13/04/15 15:08:51
#   Desc    :   Tornado Echo Server
#   HOME    :   http://www.linuxzen.com
#
import Queue
import socket

from functools import partial

from tornado.ioloop import IOLoop

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.setblocking(0)              # 將socket設置爲非阻塞

server_address = ("localhost", 10000)

sock.bind(server_address)
sock.listen(5)

fd_map = {}              # 文件描述符到socket的映射
message_queue_map = {}   # socket到消息隊列的映射

fd = sock.fileno()
fd_map[fd] = sock

ioloop = IOLoop.instance()

def handle_client(cli_addr, fd, event):
    s = fd_map[fd]
    if event & IOLoop.READ:
        data = s.recv(1024)
        if data:
            print "     received '%s' from %s" % (data, cli_addr)
            # 接收到消息更改事件爲寫, 用於發送數據到對端
            ioloop.update_handler(fd, IOLoop.WRITE)
            message_queue_map[s].put(data)
        else:
            print "     closing %s" % cli_addr
            ioloop.remove_handler(fd)
            s.close()
            del message_queue_map[s]

    if event & IOLoop.WRITE:
        try:
            next_msg = message_queue_map[s].get_nowait()
        except Queue.Empty:
            print "%s queue empty" % cli_addr
            ioloop.update_handler(fd, IOLoop.READ)
        else:
            print 'sending "%s" to %s' % (next_msg, cli_addr)
            s.send(next_msg)

    if event & IOLoop.ERROR:
        print " exception on %s" % cli_addr
        ioloop.remove_handler(fd)
        s.close()
        del message_queue_map[s]


def handle_server(fd, event):
    s = fd_map[fd]
    if event & IOLoop.READ:
        conn, cli_addr = s.accept()
        print "     connection %s" % cli_addr[0]
        conn.setblocking(0)
        conn_fd = conn.fileno()
        fd_map[conn_fd] = conn
        handle = partial(handle_client, cli_addr[0])   # 將cli_addr做爲第一個參數
        # 將鏈接和handle註冊爲讀事件加入到 tornado ioloop
        ioloop.add_handler(conn_fd, handle, IOLoop.READ)
        message_queue_map[conn] = Queue.Queue()   # 建立對應的消息隊列


ioloop.add_handler(fd, handle_server, IOLoop.READ)

ioloop.start()

上面代碼就創建了一個非阻塞的高效的異步的echo server