Python3網絡爬蟲實戰---六、Web庫的安裝：Flask、Tornado

上一篇文章： Python3網絡爬蟲實戰---五、存儲庫的安裝:PyMySQL、PyMongo、RedisPy、RedisDump
下一篇文章： Python3網絡爬蟲實戰---七、Python3網絡爬蟲實戰---APP爬取相關庫的安裝：Charles的安裝

Web 想必咱們都不陌生，咱們如今平常訪問的網站都是 Web 服務程序搭建而成的，Python 一樣不例外也有一些這樣的 Web 服務程序，好比 Flask、Django 等，咱們能夠拿它來開發網站，開發接口等等。

在本書中，咱們主要要用到這些 Web 服務程序來搭建一些 API 接口，供咱們的爬蟲使用。例如，維護一個代理池，代理保存在 Redis 數據庫中，咱們要將代理池做爲一個公共的組件使用，那麼如何構建一個方便的平臺來供咱們取用這些代理呢？最合適不過的就是經過 Web 服務提供一個 API 接口，咱們只須要請求接口便可獲取新的代理，簡單、高效、實用。

在本書中用到的一些 Web 服務程序主要有 Flask、Tornado。

本節來分別介紹它們的安裝方法。

1.5.1 Flask的安裝

Flask 是一個輕量級的 Web 服務程序，簡單、易用、靈活，在本書中咱們主要用它來作一些 API 服務，本節咱們來了解下它的安裝方式。

1. 相關連接

• GitHub：https://github.com/pallets/flask
• 官方文檔：http://flask.pocoo.org
• 中文文檔：http://docs.jinkan.org/docs/f...
• PyPi：https://pypi.python.org/pypi/...

2. Pip安裝

pip3 install flask

運行完畢以後就能夠完成安裝。

3. 驗證安裝

安裝成功以後能夠運行以下實例代碼測試一下：

from flask import Flask
app = Flask(__name__)

@app.route("/")
def hello():
    return "Hello World!"

if __name__ == "__main__":
    app.run()

直接運行代碼，能夠發現系統會在 5000 端口開啓 Web 服務，控制檯輸出以下：

* Running on http://127.0.0.1:5000/ (Press CTRL+C to quit)

直接訪問：http://127.0.0.1:5000/，能夠觀察到網頁中呈現了 Hello World!，如圖 1-41 所示：

圖 1-41 運行結果
這樣一個最簡單的 Flask 程序就運行成功了。

4. 結語

在後文咱們會利用 Flask+Redis 維護動態代理池和 Cookies 池。

1.5.2 Tornado的安裝

Tornado 是一個支持異步的Web框架，經過使用非阻塞 I/O 流，它能夠支撐成千上萬的開放鏈接，效率很是高，本節咱們介紹一下它的安裝方式。

1. 相關連接

*GitHub：https://github.com/tornadoweb...
PyPi：https://pypi.python.org/pypi/...
官方文檔：http://www.tornadoweb.org

2. Pip安裝

pip3 install tornado

執行完畢以後便可完成安裝。

3. 驗證安裝

一樣在這裏咱們也能夠用一個 Hello World 程序測試一下，代碼以下：

import tornado.ioloop
import tornado.web

class MainHandler(tornado.web.RequestHandler):
    def get(self):
        self.write("Hello, world")

def make_app():
    return tornado.web.Application([
        (r"/", MainHandler),
    ])

if __name__ == "__main__":
    app = make_app()
    app.listen(8888)
    tornado.ioloop.IOLoop.current().start()

直接運行程序，能夠發現系統在 8888 端口運行了 Web 服務，控制檯沒有輸出內容，此時訪問：http://127.0.0.1:8888/，能夠觀察到網頁中呈現了 Hello, world，如圖 1-42 所示：

圖 1-42 運行結果
出現上述情景就說明 Tornado 成功安裝了。

4.結語

在後文咱們會利用 Tornado+Redis 來搭建一個 ADSL 撥號代理池。