一文搞懂supervisor進程管理

時間 2020-12-08

標籤 php html python linux 程序員 web shell ubuntu 緩存 bash 欄目 PHP 简体版

原文原文鏈接

supervisor

使用Python編寫的進程管理程序supervisor來管理Python程序那是最合適不過了，supervisor基於CS架構，主要有如下兩個組成部分：php

supervisord：supervisord是supervisor的服務端程序。負責啓動子程序，應答客戶端命令，子程序日誌記錄，對進程變化發送事件通知等
supervisorctl： 客戶端命令行工具，能夠鏈接服務器端，進行進程的啓動、關閉、重啓、狀態查看等。重要的一點是，supervisorctl不只能夠鏈接到本機上的supervisord，還能夠鏈接到遠程的supervisord，固然在本機上面是經過UNIX socket鏈接的，遠程是經過TCP socket鏈接的。supervisorctl和supervisord之間的通訊，是經過xml_rpc完成的。相應的配置在[supervisorctl]塊裏面

安裝

基於ubuntu16.04，不一樣linux發行版都可使用包管理器進行安裝，也可使用源碼安裝和pip安裝html

apt-get install python-setuptools
apt-get install supervisor

pip安裝方法python

pip install supervisor

當前最新版本3.3.3，supervisord.conf 和supervisord.d文件夾已自動生成在/etc/supervisor/目錄下。可使用echo_supervisord_conf命令將配置信息重定向到制定目錄，好比/etclinux

echo_supervisord_conf > /etc/supervisor/supervisord.conf

服務端啓動程序員

supervisord -c /etc/supervisor/supervisord.conf

查看supervisord是否在運行web

ps aux | grep supervisord

supervisord.conf詳解

使用echo_supervisord_conf查看supervisord.conf可選的配置項：shell

echo_supervisord_conf help

詳情以下ubuntu

; Sample supervisor config file.
;
; For more information on the config file, please see:
; http://supervisord.org/configuration.html
;
; Notes:
;  - Shell expansion ("~" or "$HOME") is not supported.  Environment
;    variables can be expanded using this syntax: "%(ENV_HOME)s".
;  - Comments must have a leading space: "a=b ;comment" not "a=b;comment".

[unix_http_server]
file=/tmp/supervisor.sock   ; socket 文件路徑
;chmod=0700                 ; socket 文件 模式 (默認 0700)
;chown=nobody:nogroup       ; socket file uid:gid owner
;username=user              ; 使用supervisorctl鏈接的用戶,默認沒有用戶
;password=123               ; 使用supervisorctl鏈接的用戶密碼,默認沒有密碼

;[inet_http_server]         ; Web Server和遠程的supervisorctl 配置塊(默認關閉)
;port=127.0.0.1:9001        ; 監聽的地址和端口
;username=user              ; 登陸用戶，默認沒有用戶
;password=123               ; 登陸密碼，默認沒有密碼

[supervisord]
logfile=/tmp/supervisord.log ; supervisord進程日誌路徑
logfile_maxbytes=50MB        ; supervisord進程單個日誌文件大小，默認爲50M
logfile_backups=10           ; 日誌文件個數，默認爲10個
loglevel=info                ; 日誌級別，默認爲info，還支持debug,warn,trace)
pidfile=/tmp/supervisord.pid ; supervisord的pid文件路徑。
nodaemon=false               ; 若是是true，supervisord進程將在前臺運行 默認爲false(後臺運行)
minfds=1024                  ; 這個是最少系統空閒的文件描述符，低於這個值supervisor將不會啓動
minprocs=200                 ; 最小可用的進程描述符，低於這個值supervisor也將不會正常啓動
;umask=022                   ; 進程建立文件的掩碼 (默認 022)
;user=chrism                 ; user參數指定的用戶也能夠對supervisord進行管理
;identifier=supervisor       ; supervisord的標識符，默認supervisor
;directory=/tmp              ; 當supervisord以守護進程運行的時候，啓動supervisord進程以前，會先切換到這個目錄
;nocleanup=true              ; false的時候 supervisord進程啓動的時候 會在把之前子進程產生的臨時文件清除掉(true不清除)
;childlogdir=/tmp            ; 當子進程日誌路徑爲AUTO的時候，子進程日誌文件的存放路徑 (默認 $TMP)
;environment=KEY="value"     ; 這個是用來設置環境變量的，supervisord在linux中啓動默認繼承了linux的 環境變量，在這裏能夠設置supervisord進程特有的其餘環境變量supervisord啓動子進程時，子進程會拷貝父進程的內存空間內容。 因此設置的這些環境變量也會被子進程繼承 (默認不設置)
;strip_ansi=false            ; 默認爲falsh，若是設置爲true，會清除子進程日誌中的全部ANSI(\n,\t) 序列

; 這個選項是給XML_RPC用的，若是想使用supervisord或者web server 必需要開啓
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ; supervisorctl本地鏈接supervisord，使用本地UNIX socket
;serverurl=http://127.0.0.1:9001 ; supervisorctl遠程鏈接supervisord的時候，用到的地址和端口
;username=chris              ; 鏈接登陸的用戶名，須要和http_username一致
;password=123                ; 鏈接登陸的密碼，須要和http_password一致
;prompt=mysupervisor         ; 輸入用戶名密碼時候的提示符 默認:mysupervisor 
;history_file=~/.sc_history  ; 指定歷史命令的文件


;[program:theprogramname]      ; 指定program配置
;command=/bin/cat              ; 要執行的進程 可帶參數 $1 $2 $3  注意!! 執行的進程不能是守護進程 ! !
;process_name=%(program_name)s ; numprocs參數爲1時，就不用管這個參數 默認值%(program_name)s也就是上面的那個program冒號後面的名字
;numprocs=1                    ; 啓動進程的數目。當不爲1時，就是進程池的概念，默認爲1
;directory=/tmp                ; 進程運行前，會前切換到這個目錄
;umask=022                     ; 進程掩碼 (default None)
;priority=999                  ; 子進程啓動關閉優先級，優先級低的，最早啓動，關閉的時候最後關閉 (default 999)
;autostart=true                ; 設置爲true 子進程將在supervisord啓動後被自動啓動，默認爲true
;startsecs=1                   ; 設置子進程啓動多少秒以後，此時狀態若是是running，則咱們認爲啓動成功
;startretries=3                ; 進程啓動失敗後，最大嘗試啓動的次數 當超過3次後，supervisor將把此進程的狀態置爲FAIL
;autorestart=unexpected        ; 設置子進程掛掉後自動重啓的狀況，有三個選項，false,unexpected和true。若是爲false的時候，不管什麼狀況下，都不會被從新啓動，若是爲unexpected，只有當進程的退出碼不在上面的exitcodes裏面定義的退出碼的時候，&gt;纔會被自動重啓。當爲true的時候，只要子進程掛掉，將會被無條件的重啓。默認爲unexpected
;exitcodes=0,2                 ; 注意和上面的的autorestart=unexpected對應 exitcodes裏面的定義的退出碼是expected的。
;stopsignal=QUIT               ; 進程中止信號，能夠爲TERM, HUP, INT, QUIT, KILL, USR1, or USR2等信號 默認爲TERM 當用設定的信號去殺掉進程，退出碼會被認爲是expected
;stopwaitsecs=10               ; 這個是當咱們向子進程發送stopsignal信號後，到系統返回信息給supervisord，所等待的最大時間。 超過這個時間，supervisord會向該子進程發送一個強制kill的信號(默認10秒)
;stopasgroup=false             ; 這個東西主要用於，supervisord管理的子進程，這個子進程自己還有子進程 那麼咱們若是僅僅幹掉supervisord的子進程的話，子進程的子進程有可能會變成孤兒進程 因此我們能夠設置這個選項，把整個該子進程的整個進程組都幹掉  設置爲true的話，通常killasgroup也會被設置爲true 該選項發送的是stop信號(def false)
;killasgroup=false             ; 這個和上面的stopasgroup相似，不過發送的是kill信號(def false)
;user=chrism                   ; 若是supervisord是root啓動，咱們在這裏設置這個非root用戶，能夠用來管理該program 默認不設置
;redirect_stderr=true          ; 爲true，則stderr的日誌會被寫入stdout日誌文件中 (default false)
;stdout_logfile=/a/path        ; 子進程的stdout的日誌路徑，能夠指定路徑，AUTO，none等三個選項 設置爲none的話，將沒有日誌產生。設置爲AUTO的話，將隨機找一個地方成日誌文件，並且當supervisord從新啓動的時候，之前的日誌文件會被清空。當 redirect_stderr=true的時候，sterr也會寫進這個日誌文件
;stdout_logfile_maxbytes=1MB   ; 日誌文件最大大小，和[supervisord]中定義的同樣 (default 50MB)
;stdout_logfile_backups=10     ; 和[supervisord]定義的同樣 (0 means none, default 10)
;stdout_capture_maxbytes=1MB   ; 這個東西是設定capture管道的大小，當值不爲0的時候，子進程能夠從stdout發送信息，而supervisor能夠根據信息，發送相應的event  (default 0)
;stdout_events_enabled=false   ; 爲ture的時候，當子進程由stdout向文件描述符中寫日誌的時候，將觸發supervisord發送PROCESS_LOG_STDOUT類型的event(default false)
;stderr_logfile=/a/path        ; 設置stderr寫的日誌路徑，當redirect_stderr=true。這個就不用設置了，設置了也是白搭。由於它會被寫入stdout_logfile的同一個文件中 default AUTO(隨便找個地存，supervisord重啓被清空)
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; 這個是該子進程的環境變量，和別的子進程是不共享的
;serverurl=AUTO                ; override serverurl computation (childutils)

;[eventlistener:theeventlistenername]    ; eventlistener其實和program的地位是同樣的，也是suopervisor啓動的子進程，不過它乾的活是訂閱supervisord發送的event。他的名字就叫listener了。咱們能夠在listener裏面作一系列處理，好比報警....
;command=/bin/eventlistener    ; 和上面的program同樣，表示listener的可執行文件的路徑
;process_name=%(program_name)s ; 這個也同樣，進程名，當下面的numprocs爲多個的時候，才須要。不然默認就OK了
;numprocs=1                    ; 相同的listener啓動的個數，默認1
;events=EVENT                  ; event event事件的類型，也就是說，只有寫在這個地方的事件類型。纔會被髮送
;buffer_size=10                ; event隊列緩存大小 (default 10)
;directory=/tmp                ; 進程執行前，會切換到這個目錄下執行 (def no cwd)
;umask=022                     ; umask for process (default None)
;priority=-1                   ; 啓動優先級 (default -1)
;autostart=true                ; supervisord啓動時一塊兒啓動 (default: true)
;startsecs=1                   ; 設置子進程啓動多少秒以後，此時狀態若是是running，則咱們認爲啓動成功了 (def. 1)
;startretries=3                ; 失敗最大嘗試次數 (default 3)
;autorestart=unexpected        ; 和program同樣 (def: unexpected)
;exitcodes=0,2                 ; 'expected' exit codes used with autorestart (default 0,2)
;stopsignal=QUIT               ; signal used to kill process (default TERM)
;stopwaitsecs=10               ; max num secs to wait b4 SIGKILL (default 10)
;stopasgroup=false             ; send stop signal to the UNIX process group (default false)
;killasgroup=false             ; SIGKILL the UNIX process group (def false)
;user=chrism                   ; setuid to this UNIX account to run the program
;redirect_stderr=false         ; redirect_stderr=true is not allowed for eventlisteners
;stdout_logfile=/a/path        ; stdout log path, NONE for none; default AUTO
;stdout_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stdout_logfile_backups=10     ; # of stdout logfile backups (default 10)
;stdout_events_enabled=false   ; emit events on stdout writes (default false)
;stderr_logfile=/a/path        ; stderr log path, NONE for none; default AUTO
;stderr_logfile_maxbytes=1MB   ; max # logfile bytes b4 rotation (default 50MB)
;stderr_logfile_backups=10     ; # of stderr logfile backups (default 10)
;stderr_events_enabled=false   ; emit events on stderr writes (default false)
;environment=A="1",B="2"       ; process environment additions
;serverurl=AUTO                ; override serverurl computation (childutils)

;[group:thegroupname]          ; 給programs分組，劃分到組裏面的program。咱們就不用一個一個去操做了 咱們能夠對組名進行統一的操做。 注意：program被劃分到組裏面以後，就至關於原來的配置從supervisor的配置文件裏消失了supervisor只會對組進行管理，而再也不會對組裏面的單個program進行管理了
;programs=progname1,progname2  ; 組成員，用逗號分開
;priority=999                  ; 優先級，相對於組和組之間 (default 999)

;[include]                     ;包含的程序配置文件
;files = relative/directory/*.ini

提取supervisord.conf模板

採用supervisord.conf和program.conf分離的方式進行本機進程管理，從默認配置中抽取出經常使用的supervisord模板緩存

; supervisor config file

[unix_http_server]
file=/var/run/supervisor.sock   ; (the path to the socket file)

[inet_http_server]         ; inet (TCP) server disabled by default
port=127.0.0.1:9001        ; (ip_address:port specifier, *:port for all iface)
username=erow              ; (default is no username (open server))
password=j                 ; (default is no password (open server))

[supervisord]
logfile=/var/log/supervisor/supervisord.log ; (main log file;default $CWD/supervisord.log)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
loglevel=debug               ; (log level;default info; others: debug,warn,trace)
logfile_maxbytes=10MB        ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10           ; (num of main logfile rotation backups;default 10)

[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface

[supervisorctl]
serverurl=unix:///var/run/supervisor.sock ; use a unix:// URL  for a unix socket

[include]
files = /etc/supervisor/conf.d/*.ini

模板抽取基於如下考慮bash

必填選項不可少
服務端支持本地supervisorctl客戶端鏈接也支持遠程鏈接
測試環境日誌級別設置爲debug，生產環境日誌級別設置爲info，修改loglevel字段便可
日誌文件大小和個數須要參考服務端所在機器的磁盤大小，會產生stderr和stdout兩種日誌
pid文件和log文件都不建議存放在/tmp下面，容易被誤刪除，所以放在var目錄下

提取program.conf模板

從默認配置中抽取出經常使用的program模板

[program:concurrency_statistician]
directory = /root/qk_python/data/statistic/concurrency_statistician
command = python concurrency_statistician.py
autostart = true
startsecs = 5
autorestart = true
startretries = 3
user = root

若是單獨調整program日誌大小和個數，則加入stdout和stderr四個參數，新的配置文件以下

[program:concurrency_statistician]
directory = /root/qk_python/data/statistic/concurrency_statistician
command = python concurrency_statistician.py
autostart = true
startsecs = 5
autorestart = true
startretries = 3
user = root
stdout_logfile_maxbytes = 10MB
stdout_logfile_backups = 10
stderr_logfile_maxbytes = 10MB
stderr_logfile_backups = 10

通常狀況下，不須要指定日誌文件名稱，默認的日誌文件名稱組成爲

程序名稱+日誌類型（stdout和stderr）+ supervisor+進程號+日誌編號

文件名稱示例：concurrency_statistician-stderr---supervisor-OpZ5di.log.2

須要注意：supervisor服務端程序supervisord從新啓動以後，會產生新的pid。所以日誌只會在新的進程日誌中產生，老的子進程日誌不會被刪除。所以若是須要從新啓動supervisord，則須要注意是否要保留老進程日誌，以避免超過磁盤大小。

通常狀況下，生產環境中不會常常重啓supervisord

經常使用supervisorctl命令

能夠進入 supervisorctl 的 shell 界面，也能夠直接在 bash 終端運行

# 中止某一個進程，program_name 爲 [program:x] 裏的 x
supervisorctl stop program_name
# 啓動某個進程
supervisorctl start program_name
# 重啓某個進程
supervisorctl restart program_name
# 中止所有進程，注：start、restart、stop 都不會載入最新的配置文件
supervisorctl stop all
# 載入最新的配置文件，中止原有進程並按新的配置啓動、管理全部進程
supervisorctl reload
# 根據最新的配置文件，啓動新配置或有改動的進程，配置沒有改動的進程不會受影響而重啓
supervisorctl update

關於program groups的命令使用較少暫不介紹

參考資料：

記得幫我點贊哦！