如何高效地遠程部署？自動化運維利器 Fabric 教程

關於 Python 自動化的話題，在上一篇文章中，我介紹了 Invoke 庫，它是 Fabric 的最重要組件之一。Fabric 也是一個被普遍應用的自動化工具庫，是不得不提的自動化運維利器，因此，本文未來介紹一下它。

Fabric 主要用在應用部署與系統管理等任務的自動化，簡單輕量級，提供有豐富的 SSH 擴展接口。在 Fabric 1.x 版本中，它混雜了本地及遠程兩類功能；但自 Fabric 2.x 版本起，它分離出了獨立的 Invoke 庫，來處理本地的自動化任務，而 Fabric 則聚焦於遠程與網絡層面的任務。

爲了作到這點，Fabric 主要依賴另外一大核心組件 Paramiko，它是基於 SSH 協議的遠程控制模塊，Fabric 在其基礎上封裝出了更加友好的接口，能夠遠程執行 Shell 命令、傳輸文件、批量操做服務器、身份認證、多種配置與設置代理，等等。

1、Fabric 的版本區分

Python 2 版本已經被官宣在今年元旦「退休」了，將來只會是 Python 3 的舞臺。爲了適應 Python 版本的非兼容性遷移，不少項目也必須推出本身的新版本（兼容或只支持 Python 3），其中就包括本文的主角 Fabric。

Fabric 自身存在着 2 個大版本：Fabric 1 和 Fabric 2，而在這個庫的基礎上，還有兩個很容易混淆的相關庫：Fabric2 和 Fabric3（注意這裏的數字是庫名的一部分）。

它們的區分以下：

• Fabric 1.x：支持 Python 2.5-2.7，但不支持 Python 3
• Fabric 2.x：支持 Python 2.7 與 3.4+，但不兼容 Fabric 1.x 的 fabfile
• Fabric2：等同於 Fabric 2.x，爲了使不一樣版本共存（裝一個 1.x 舊版本，再裝它做爲新版本）
• Fabric3：一個基於 Fabric 1.x 的 fork（非官方），兼容 Python 2&3，兼容 Fabric1.x 的 fabfile

綜上可見，咱們推薦使用官方的 Fabric 2.x 系列版本，但同時要注意，某些過期的教程多是基於早期版本的（或非官方的 Fabric3，也是基於 Fabric 1.x），須要注意識別。

例如，在 Fabric 1.x 系列中這麼寫導入：from fabric.api import run；在新版本中將報錯：「ImportError: No module named api」（PS：可根據是否有 fabric.api 來判斷 Fabric 的版本，就像在 Python 中根據 print 語句或 print 函數來判斷版本同樣）。同時，因爲新版本不支持老版本的 fabfile，在使用時就可能報錯：「No idea what 'xxx' is!」

Fabric 2 是非兼容性版本，相比於前個版本，它主要改進的點有：

• 支持 Python 2.7 與 3.4+
• 線程安全，取消了多進程的併發實現
• API 圍繞 fabric.connection.Connection 進行了重組
• 全面修改了命令行解析器，容許在每一個任務的基礎上使用規則的 GNU/POSIX 風格的標誌和選項（再也不須要 fab mytask:weird = custom,arg = format）
• 能夠聲明前置任務與後置任務
• ……（官方列了10幾條 [1]，本文不一一羅列）

以前介紹過的 invoke，就是在開發 Fabric 2 時被分離出來的，具體的緣由可參見這個回答 [2]。總而言之，在使用 Fabric 時，應該注意版本差別的問題。

2、Fabric 的基本用法

一、安裝

首先是安裝：pip intall fabric ，安裝後，可在命令行窗口查看版本信息：

>>> fab -V
Fabric 2.5.0
Paramiko 2.7.1
Invoke 1.4.0

執行「fab -V」，以上結果可看出我安裝的是 Fabric 2.5.0 版本，同時可看到它的兩個核心依賴庫 Paramiko 及 Invoke 的版本信息。

二、一個簡單的例子

Fabric 主要用於遠程任務，即要對遠程服務器進行操做，下面是一個簡單的例子：

# 可以使用任意的文件名
from fabric import Connection

host_ip = '47.xx.xx.xx'  # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****'  # 服務器密碼
cmd = 'date'  # shell 命令，查詢服務器上的時間

con = Connection(host_ip, user_name, connect_kwargs={'password': password})
result = con.run(cmd, hide=True)

print(result)

以上代碼，經過帳號+密碼登陸到遠程服務器，而後執行date命令，查看服務器的時間，執行結果：

Command exited with status 0.
=== stdout ===
Fri Feb 14 15:33:05 CST 2020

(no stderr)

如今打印的結果中，除了服務器時間，還有一些無關的信息。這是由於它打印的「result」是一個"fabric.runners.Result"類，咱們能夠把其中的信息解析出來：

print(result.stdout)  # Fri Feb 14 15:33:05 CST 2020
print(result.exited)  # 0
print(result.ok)      # True
print(result.failed)  # False
print(result.command) # date
print(result.connection.host) # 47.xx.xx.xx

上述代碼使用了 Connection 類及其 run() 方法，可在鏈接的服務器上運行 shell 命令。若是須要用管理員權限，則需替換成 sudo() 方法。若是要在本地執行 shell 命令，則需替換成 local() 方法。

除此以外，還有 get()、put() 等方法，詳見下文介紹。

三、命令行用法

上例代碼可寫在任意的 .py 腳本中，而後運行該腳本，或者稍微封裝下再導入到其它腳本中使用。

另外，Fabric 仍是個命令行工具，能夠經過fab命令來執行任務。咱們稍微改造一下上例的代碼：

# 文件名：fabfile.py
from fabric import Connection
from fabric import task

host_ip = '47.xx.xx.xx'  # 服務器地址
user_name = 'root' # 服務器用戶名
password = '****'  # 服務器密碼
cmd = 'date'  # shell 命令，查詢服務器上的時間

@task
def test(c):
    """
    Get date from remote host.
    """
    con = Connection(host_ip, user_name, connect_kwargs={'password': password})
    result = con.run(cmd, hide=True)
    print(result.stdout)  # 只打印時間

解釋一下，主要的改動點有：

• fabfile.py 文件名：入口代碼的腳本名必須用這個名字
• @task 裝飾器：須要從 fabric 中引入這個裝飾器，它是對 invoke 的 @task 裝飾器的封裝，實際用法跟 invoke 同樣（注意：它也須要有上下文參數「c」，但實際上它並無在代碼塊中使用，而是用了 Connection 類的實例）

而後，在該腳本同級目錄的命令行窗口中，能夠查看和執行相應的任務：

>>> fab -l
Available tasks:
  test   Get date from remote host.

>>> fab test
Fri Feb 14 16:10:24 CST 2020

fab 是 Invoke 的擴展實現，繼承了不少原有功能，因此執行「fab --help」，與以前介紹的「inv --help」相比，你會發現它們的不少參數與解釋都是如出一轍的。

fab 針對遠程服務的場景，添加了幾個命令行選項（已標藍），其中：

• --prompt-for-login-password：令程序在命令行中輸入 SSH 登陸密碼（上例在代碼中指定了 connect_kwargs.password 參數，若用此選項，可要求在執行時再手工輸入密碼）
• --prompt-for-passphrase：令程序在命令行中輸入 SSH 私鑰加密文件的路徑
• -H 或 --hosts：指定要鏈接的 host 名
• -i 或 --identity：指定 SSH 鏈接所用的私鑰文件
• -S 或 --ssh-config：指定運行時要加載的 SSH 配置文件

關於 Fabric 的命令行接口，更多內容可查看文檔 [3]。

四、交互式操做

遠程服務器上如有交互式提示，要求輸入密碼或「yes」之類的信息，這就要求 Fabric 可以監聽並做出迴應。

如下是一個簡單示例。引入 invoke 的 Responder，初始化內容是一個正則字符串和迴應信息，最後賦值給 watchers 參數：

from invoke import Responder
from fabric import Connection
c = Connection('host')
sudopass = Responder(
     pattern=r'\[sudo\] password:',
     response='mypassword\n')
c.run('sudo whoami', pty=True, watchers=[sudopass])

五、傳輸文件

本地與服務器間的文件傳輸是常見用法。Fabric 在這方面作了很好的封裝，Connection 類中有如下兩個方法可用：

• get(*args, **kwargs)：拉取遠端文件到本地文件系統或類文件（file-like）對象
• put(*args, **kwargs)：推送本地文件或類文件對象到遠端文件系統

在已創建鏈接的狀況下，示例：

# (略)
con.get('/opt/123.txt', '123.txt')
con.put('test.txt', '/opt/test.txt')

第一個參數指的是要傳輸的源文件，第二個參數是要傳輸的目的地，能夠指定成文件名或者文件夾（爲空或 None 時，使用默認路徑）：

# (略)
con.get('/opt/123.txt', '')  # 爲空時，使用默認路徑
con.put('test.txt', '/opt/') # 指定路徑 /opt/

get() 方法的默認存儲路徑是os.getcwd ，而 put() 方法的默認存儲路徑是 home 目錄。

六、服務器批量操做

對於服務器集羣的批量操做，最簡單的實現方法是用 for 循環，而後逐一創建 connection 和執行操做，相似這樣：

for host in ('web1', 'web2', 'mac1'):
    result = Connection(host).run('uname -s')

但有時候，這樣的方案會存在問題：

• 若是存在多組不一樣的服務器集羣，須要執行不一樣操做，那麼須要寫不少 for 循環
• 若是想把每組操做的結果聚合起來（例如字典形式，key-主機，value-結果），還得在 for 循環以外添加額外的操做
• for 循環是順序同步執行的，效率過低，並且缺少異常處理機制（若中間出現異常，會致使跳出後續操做）

對於這些問題，Fabric 提出了 Group 的概念，可將一組主機定義成一個 Group，它的 API 方法跟 Connection 同樣，即一個 Group 可簡化地視爲一個 Connection。

而後，開發者只須要簡單地操做這個 Group，最後獲得一個結果集便可，減小了本身在異常處理及執行順序上的工做。

Fabric 提供了一個 fabric.group.Group 基類，並由其派生出兩個子類，區別是：

• SerialGroup(*hosts, **kwargs)：按串行方式執行操做
• ThreadingGroup(*hosts, **kwargs)：按併發方式執行操做

Group 的類型決定了主機集羣的操做方式，咱們只須要作出選擇便可。而後，它們的執行結果是一個fabric.group.GroupResult類，它是 dict 的子類，存儲了每一個主機 connection 及其執行結果的對應關係。

>>> from fabric import SerialGroup
>>> results = SerialGroup('web1', 'web2', 'mac1').run('uname -s')
>>> print(results)
<GroupResult: {
    <Connection 'web1'>: <CommandResult 'uname -s'>,
    <Connection 'web2'>: <CommandResult 'uname -s'>,
    <Connection 'mac1'>: <CommandResult 'uname -s'>,
}>

另外，GroupResult 還提供了 failed 與 succeeded 兩個屬性，能夠取出失敗/成功的子集。由此，也能夠方便地批量進行二次操做。 原文

3、Fabric 的進階用法

一、身份認證

Fabric 使用 SSH 協議來創建遠程會話，它是一種相對安全的基於應用層的加密傳輸協議。

基原本說，它有兩種級別的安全認證方式：

• 基於口令的身份認證：使用帳號與密碼來登陸遠程主機，安全性較低，容易受到「中間人」攻擊
• 基於密鑰的身份認證：使用密鑰對方式（公鑰放服務端，私鑰放客戶端），不會受到「中間人」攻擊，但登陸耗時較長

前文在舉例時，咱們用了第一種方式，即經過指定 connect_kwargs.password 參數，使用口令來登陸。

Fabric 固然也支持採用第二種方式，有三種方法來指定私鑰文件的路徑，優先級以下：

• 優先查找 connect_kwargs.key_filename 參數，找到則用做私鑰
• 其次查找命令行用法的 --identify 選項
• 最後默認使用操做系統的 ssh_config 文件中的IdentityFile 的值

若是私鑰文件自己還被加密過，則須要使用 connect_kwargs.passphrase 參數。

二、配置文件

Fabric 支持把一些參數項與業務代碼分離，即經過配置文件來管理它們，例如前面提到的密碼和私鑰文件，可寫在配置文件中，避免與代碼耦合。

Fabric 基本沿用了 Invoke 的配置文件體系（官方文檔中列出了 9 層），同時增長了一些跟 SSH 相關的配置項。支持的文件格式有 .yaml、.yml、.json 與 .py（按這次序排優先級），推薦使用 yaml 格式（後綴可簡寫成 yml）。

其中，比較經常使用的配置文件有：

• 系統級的配置文件：/etc/fabric.yml
• 用戶級的配置文件：~/.fabric.yml（Windows 在 C:\Users\xxx 下）
• 項目級的配置文件：/myproject/fabric.yml

以上文件的優先級遞減，因爲我本機是 Windows，爲了方便，我在用戶目錄建一個".fabric.yml"文件，內容以下：

# filename:.fabric.yml

user: root
connect_kwargs:
  password: xxxx
# 若用密鑰，則以下
#  key_filename:
#    - your_key_file

咱們把用戶名和密碼抽離出來了，因此 fabfile 中就能夠刪掉這些內容：

# 文件名：fabfile.py
from fabric import Connection
from fabric import task

host_ip = '47.xx.xx.xx'  # 服務器地址
cmd = 'date'  # shell 命令，查詢服務器上的時間

@task
def test(c):
    """
    Get date from remote host.
    """
    con = Connection(host_ip)
    result = con.run(cmd, hide=True)
    print(result.stdout)

而後，在命令行中執行：

>>> fab test
Tue Feb 18 10:33:38 CST 2020

配置文件中還能夠設置不少參數，詳細可查看文檔 [4]。

三、網絡網關

若是遠程服務是網絡隔離的，沒法直接被訪問到（處在不一樣局域網），這時候須要有網關/代理/隧道，這個中間層的機器一般被稱爲跳板機或堡壘機。

Fabric 中有兩種網關解決方案，對應到 OpenSSH 客戶端的兩種選項：

• ProxyJump：簡單，開銷少，可嵌套
• ProxyCommand：開銷大，不可嵌套，更靈活

在建立 Fabric 的 Connection 對象時，可經過指定 gateway 參數來應用這兩種方案：

ProxyJump 方式就是在一個 Connection 中嵌套一個 Connection 做爲前者的網關，後者使用 SSH 協議的direct-tcpip 爲前者打開與實際遠程主機的鏈接，並且後者還能夠繼續嵌套使用本身的網關。

from fabric import Connection

c = Connection('internalhost', gateway=Connection('gatewayhost'))

ProxyCommand 方式是客戶端在本地用 ssh 命令（相似「ssh -W %h:%p gatewayhost」），建立一個子進程，該子進程與服務端進行通訊，同時它能讀取標準輸入和輸出。

這部分的實現細節分別在paramiko.channel.Channel 和 paramiko.proxy.ProxyCommand，除了在參數中指定，也能夠在 Fabric 支持的配置文件中定義。更多細節，請查閱文檔 [5]。

4、小結

Fabric 的非兼容版本形成了必定程度的社區分裂，這無疑跟 Python 3 的推行脫不開關係，可是咱們有理由相信，新版本優勝於老版本。

網上關於 Fabric 的文章，不少已過期了。本文針對最新的官方文檔，梳理出了較爲全面的知識點，能夠帶你們很好地入門 Fabric。

讀完本文，相信讀者們只須要幾分鐘就能輕鬆上手使用。如如有所疑問，歡迎經過如下方式聯繫我。

--------------

公衆號：Python貓

頭條號：Python貓

知乎：豌豆花下貓

掘金：豌豆花下貓

--------------

相關連接：

Invoke教程：https://mp.weixin.qq.com/s/up8lxuRhJQAXRzxkirF3nA

一、http://www.fabfile.org/upgrading.html#upgrading

二、http://www.pyinvoke.org/faq.html#invoke-split-from-fabric

三、http://docs.fabfile.org/en/2.5/cli.html

四、http://docs.fabfile.org/en/2.5/concepts/configuration.html

五、http://docs.fabfile.org/en/2.5/concepts/networking.html

公衆號【Python貓】， 本號連載優質的系列文章，有喵星哲學貓系列、Python進階系列、好書推薦系列、技術寫做、優質英文推薦與翻譯等等，歡迎關注哦。