python：守護進程deamon

時間 2020-02-04

原文原文鏈接

1、守護進程的基本編碼規範 html

詳細參見:《AdvancedProgrammingin The Unix Environment》Section 13.3 Page 583 python

     本小節將介紹一些守護進程的基本編碼規範，這些規範將阻止守護進程與當前環境產生一些沒必要要的交互。本節將經過一個函數daemonize實現這些規範。
    1. 首先要作的被稱爲 umask，這一步驟會將文件建立掩碼重置爲0。這一步的緣由是守護進程繼承(inherited)獲得的文件掩碼有可能會拒絕某些特定的文件操做權限。若是守護進程想要建立文件，那有可能它須要設置特定的文件操做權限。例如，若是守護進程想要建立容許組讀和寫(group-readand group-write)權限的文件，但繼承獲得的文件建立掩碼屏蔽了這個權限，則建立操做不會成功。

    2. 調用 fork 並使父進程退出(exit)。這一步驟的目的在於。首先，若是守護進程是經過一個簡單的shell命令創建的，那麼在父進程終止的時候shell會認爲命令已經結束了繼而結束守護進程。其次，子進程繼承獲得父進程的groupID同時也得到了一個新的進程號，因此咱們必須得保證子進程不能擔任groupleader的角色，這是下一步setsid 操做的前提。
    注：此步驟是使得進程在後臺運行。

    3. 調用 setsid 建立一個新的會話。有三個步驟將會執行：(a)進程將成爲這個新會話的sessionleader角色，(b)此進程將會成爲一個新的進程組的groupleader，(c)此進程將不會有控制終端。
    注：此步驟將使得進程脫離控制終端、登陸會話以及進程組。

    在基於SystemV的系統中，有建議再一次調用fork 並使父進程退出。而新產生的進程將會成爲真正的守護進程。這一步驟將保證守護進程不是一個sessionleader，進而阻止它獲取一個控制終端。或者另外一種阻止守護進程獲取控制終端的方案是任意時刻打開一個終端設備的時候確保指定O_NOCTTY。
    注：此步驟將禁止進程從新打開控制終端。

    4. 將當前的工做目錄切換到系統根目錄下。由於從父進程集成來的當前工做目錄多是一個被掛載的文件系統。由於守護進程一般是直到系統重啓的時候纔會退出，若是守護進程的工做目錄在一個掛載的文件系統上，那麼這個文件系統就不能被卸載(unmounted)。

    有的守護進程可能會將當前的工做目錄切換到一些特定的路徑，在這些路徑下它們將完成它們的工做。例如，lineprinter spoolingdaemons 一般將工做目錄切換爲spool目錄。

    5. 一些沒必要要的文件描述符將會被關閉。這個步驟將阻止守護進程保持從父進程集成到的任何已經打開的文件描述符(也多是shell或其餘進程)。咱們可使用 open_max 函數或 getrlimit 函數來查找當前優先級最高的文件描述符並關閉此描述符之下的全部其餘描述符。
    注：保持打開的描述符將會佔用系統資源並可能使某些文件不能被卸載。

    6. 有一些守護進程將打開文件描述符0, 1, 2 指向 /dev/null ，這樣一來全部試圖從標準輸入、輸出及錯誤讀取守護進程信息的操做都不能成功。由於守護進程當前已經不與任何終端設備相關聯，沒有地方顯示其輸出或接受用戶的輸入。即便守護進程是從一個交互式session建立的，守護進程也將運行在後臺，任何終端的登陸與終止將不會影響守護進程。若是有其餘用戶經過當前的終端登陸，咱們也不但願守護進程的輸出出如今終端上，而且該用戶的任何輸入也不會被守護進程接收。

    總結起來就是：
    1) 第一次fork將會建立父-子進程，同時使得父進程退出保證守護進程可以運行在後臺。
    2) 經過setsid步驟使得進程與控制終端、登陸會話以及進程組脫離。
    3) 第二次fork將確保進程從新打開控制終端，而且產生子-孫進程，而子進程退出後孫進程將成爲真正的守護進程。
    4) 其餘還有一些諸如工做目錄設置、關閉文件描述符、設置文件建立掩碼之類的操做。 git

2、python守護進程的一個例子 github

詳見：https://gist.github.com/jamiesun/3097215，樣例代碼以下 redis

#! /usr/bin/env python2.7
#encoding:utf-8
#@description:一個python守護進程的例子
#@tags:python,daemon
import sys
import os
import time
import atexit
from signal import SIGTERM 
 
 
class Daemon:
    """
    A generic daemon class.
    
    Usage: subclass the Daemon class and override the run() method
    """
    def __init__(self, pidfile, stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
        self.stdin = stdin
        self.stdout = stdout
        self.stderr = stderr
        self.pidfile = pidfile
    
    def daemonize(self):
        """
        do the UNIX double-fork magic, see Stevens' "Advanced 
        Programming in the UNIX Environment" for details (ISBN 0201563177)
        http://www.erlenstar.demon.co.uk/unix/faq_2.html#SEC16
        """
        try: 
            pid = os.fork() 
            if pid > 0:
                # exit first parent
                sys.exit(0) 
        except OSError, e: 
            sys.stderr.write("fork #1 failed: %d (%s)\n" % (e.errno, e.strerror))
            sys.exit(1)
    
        # decouple from parent environment
        os.chdir("/") 
        os.setsid() 
        os.umask(0) 
    
        # do second fork
        try: 
            pid = os.fork() 
            if pid > 0:
                # exit from second parent
                sys.exit(0) 
        except OSError, e: 
            sys.stderr.write("fork #2 failed: %d (%s)\n" % (e.errno, e.strerror))
            sys.exit(1) 
    
        # redirect standard file descriptors
        sys.stdout.flush()
        sys.stderr.flush()
        si = file(self.stdin, 'r')
        so = file(self.stdout, 'a+')
        se = file(self.stderr, 'a+', 0)
        os.dup2(si.fileno(), sys.stdin.fileno())
        os.dup2(so.fileno(), sys.stdout.fileno())
        os.dup2(se.fileno(), sys.stderr.fileno())
    
        # write pidfile
        atexit.register(self.delpid)
        pid = str(os.getpid())
        file(self.pidfile,'w+').write("%s\n" % pid)
    
    def delpid(self):
        os.remove(self.pidfile)
 
    def start(self):
        """
        Start the daemon
        """
        # Check for a pidfile to see if the daemon already runs
        try:
            pf = file(self.pidfile,'r')
            pid = int(pf.read().strip())
            pf.close()
        except IOError:
            pid = None
    
        if pid:
            message = "pidfile %s already exist. Daemon already running?\n"
            sys.stderr.write(message % self.pidfile)
            sys.exit(1)
        
        # Start the daemon
        self.daemonize()
        self.run()
 
    def stop(self):
        """
        Stop the daemon
        """
        # Get the pid from the pidfile
        try:
            pf = file(self.pidfile,'r')
            pid = int(pf.read().strip())
            pf.close()
        except IOError:
            pid = None
    
        if not pid:
            message = "pidfile %s does not exist. Daemon not running?\n"
            sys.stderr.write(message % self.pidfile)
            return # not an error in a restart
 
        # Try killing the daemon process    
        try:
            while 1:
                os.kill(pid, SIGTERM)
                time.sleep(0.1)
        except OSError, err:
            err = str(err)
            if err.find("No such process") > 0:
                if os.path.exists(self.pidfile):
                    os.remove(self.pidfile)
            else:
                print str(err)
                sys.exit(1)
 
    def restart(self):
        """
        Restart the daemon
        """
        self.stop()
        self.start()
 
    def run(self):
        """
        You should override this method when you subclass Daemon. It will be called after the process has been
        daemonized by start() or restart().
        """        
 
 
class MyDaemon(Daemon):
    def run(self):
        while True:
            time.sleep(60)
            print 'daemon runing'
 
 
 
 
if __name__ == "__main__":
    daemon = MyDaemon("/var/run/demodaemon.pid")
    if len(sys.argv) >= 2:
        if 'start' == sys.argv[1]:
            daemon.start()
        elif 'stop' == sys.argv[1]:
            daemon.stop()
        elif 'restart' == sys.argv[1]:
            daemon.restart()
        else:
            print "Unknown command"
            sys.exit(2)
        sys.exit(0)
    else:
        print "usage: %s start|stop|restart" % sys.argv[0]
        sys.exit(2)

3、編寫的針對primeton ESB SERVER程序的守護進程樣例 shell

監控程序的進程是否存在，程序的端口是否正常 session

#!/usr/bin/python
# encoding:utf-8
# @description:一個python守護進程
# @tags:python,daemon
import atexit
import os
from signal import SIGTERM 
import socket
import sys
import time


class ESBDaemon:
    # 構造函數
    def __init__(self, pidfile, ip, port, findCmd, runCmd, stopCmd, stdin='/dev/null', stdout='/dev/null', stderr='/dev/null'):
        # 須要獲取調試信息，改成stdin='/dev/stdin', stdout='/dev/stdout', stderr='/dev/stderr'，以root身份運行
        self.stdin = stdin
        self.stdout = stdout
        self.stderr = stderr
        self.pidfile = pidfile
        self.ip = ip
        self.port = port
        self.findCmd = findCmd
        self.runCmd = runCmd
        self.stopCmd = stopCmd
       

    def daemonize(self):
        # 第一次fork將會建立父-子進程，同時使得父進程退出保證守護進程可以運行在後臺
        try: 
            pid = os.fork() 
            if pid > 0:
                # 退出父進程
                sys.exit(0) 
        except OSError, e: 
            sys.stderr.write("fork #1 failed: %d (%s)\n" % (e.errno, e.strerror))
            sys.exit(1)
    
        # 與父進程的環境解耦
        # 經過setsid步驟使得進程與控制終端、登陸會話以及進程組脫離
        os.chdir("/") 
        os.setsid() 
        os.umask(0) 
    
        # 第二次fork將確保進程從新打開控制終端，而且產生子-孫進程，而子進程退出後孫進程將成爲真正的守護進程
        # 建立子進程
        try: 
            pid = os.fork() 
            if pid > 0:
                # exit from second parent
                sys.exit(0) 
        except OSError, e: 
            sys.stderr.write("fork #2 failed: %d (%s)\n" % (e.errno, e.strerror))
            sys.exit(1) 
    
        # 其餘還有一些諸如工做目錄設置、關閉文件描述符、設置文件建立掩碼之類的操做
        # 重定向文件描述符
        sys.stdout.flush()
        sys.stderr.flush()
        si = file(self.stdin, 'r')
        so = file(self.stdout, 'a+')
        se = file(self.stderr, 'a+', 0)
        os.dup2(si.fileno(), sys.stdin.fileno())
        os.dup2(so.fileno(), sys.stdout.fileno())
        os.dup2(se.fileno(), sys.stderr.fileno())
    
        # 建立processid文件
        atexit.register(self.delpid)
        pid = str(os.getpid())
        file(self.pidfile, 'w+').write("%s\n" % pid)

  
    def delpid(self):
        os.remove(self.pidfile)
        
    # 可用於檢測程序是否正常，如檢測redis是否正常，即檢測redis的6379端口是否正常
    def check_aliveness(self):
        sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
        sk.settimeout(1)
        try:
            sk.connect((self.ip, self.port))
            return True
        except Exception:
            return False
        finally:
            sk.close()
            return False
        
    def writeFile(self, msg):
        f = file("/var/run/esb.log", 'a+')
        f.write(msg + time.strftime('%Y-%m-%d %H:%M:%S') + "\r\n")  # write text to file
        f.close()

    def start(self):
        # 檢查pid文件是否存在以探測是否存在進程
        try:
            pf = file(self.pidfile, 'r')
            pid = int(pf.read().strip())
            pf.close()
        except IOError:
            pid = None
        
        if pid:
            message = "pidfile %s already exist. Daemon already running?\n"
            sys.stderr.write(message % self.pidfile)
            self.writeFile(message % self.pidfile)
            sys.exit(1)
        
        # 啓動監控
        self.writeFile("啓動監控")
        self.daemonize()
        self.run()

    def stop(self):
        self.writeFile("中止程序")
        # 從pid文件中獲取pid
        try:
            pf = file(self.pidfile, 'r')
            pid = int(pf.read().strip())
            pf.close()
        except IOError:
            pid = None
    
        if not pid:
            message = "pidfile %s does not exist. Daemon not running?\n"
            sys.stderr.write(message % self.pidfile)
            self.writeFile(message % self.pidfile)
            return  # 重啓不報錯
 
        # 殺死進程
        try:
            while 1:
                os.kill(pid, SIGTERM)
                time.sleep(0.1)
                os.system(self.stopCmd)
        except OSError, err:
            err = str(err)
            if err.find("No such process") > 0:
                if os.path.exists(self.pidfile):
                    os.remove(self.pidfile)
            else:
                print str(err)
                self.writeFile(str(err))
                sys.exit(1)
    def restart(self):
        self.writeFile("重啓程序")
        self.stop()
        self.start()
 
    def run(self):   
        while True:
            try:
                self.writeFile("檢查程序是否正常")
                esb = os.popen(self.findCmd).read().strip()
                portNormal=self.check_aliveness()
                if esb == '0' and (not portNormal):
                    self.writeFile("程序進程不存在 :" + str(esb) + " " + str(portNormal))
                    os.system(self.runCmd)
                time.sleep(30)
            except OSError, err:
               self.writeFile(str(err)) 
    
if __name__ == "__main__":
    daemon = ESBDaemon(
		"/var/run/dfsdaemon.pid",
		"172.168.27.153",
		6200,
		'ps -fe | grep "primeton" | grep "server" | grep -v "grep" | wc -l',
		'nohup /home/primeton/esb/startServer.sh > /home/primeton/esb/server.log 2>&1 &',
		'/home/primeton/esb/stopServer.sh'
		)
    if len(sys.argv) >= 2:
        if 'start' == sys.argv[1]:
            daemon.start()
        elif 'stop' == sys.argv[1]:
            daemon.stop()
        elif 'restart' == sys.argv[1]:
            daemon.restart()
        else:
            print "Unknown command"
            sys.exit(2)
        sys.exit(0)
    else:
        print "usage: %s start|stop|restart" % sys.argv[0]
        sys.exit(2)

4、對應的shell版本 app

監控程序的進程是否存在，程序的端口是否正常 python2.7

#/bin/sh
host="172.168.27.153"
port=6200
appName="server"

while true;
do
    count=`ps -fe | grep "primeton" | grep "$appName" | grep -v "grep" | wc -l`
    nport=`echo ""|telnet $host $port 2>/dev/null|grep "\^]"|wc -l`
    
    echo "程序進程數：" $count "端口是否通：" $nport
    
    if [ "$count" != "1" -a $nport -eq 0 ]; then
        echo "從新啓動程序"
        rm -rf /home/primeton/esb/server/EOS/_srv/work/mq_data/localhost/kr-store/data
        nohup /home/primeton/esb/startServer.sh > /home/primeton/esb/server.log 2>&1 &
    fi
    sleep 2
done

5、參考資料 socket

http://slaytanic.blog.51cto.com/2057708/742049

http://blog.csdn.net/dysj4099/article/details/18219411

https://gist.github.com/jamiesun/3097215